🤖 Un résumé (un peu tech quand même) de comment fonctionne l’IA, ça vous intéresse ?
C’est ce qu’a fait Stephen Wolfram, chercheur et spécialiste du domaine.
Je vous mets le sommaire 👇
💬 Comment fonctionnent les modèles de langage « LLM », ceux qui en fait complètent les phrases en fonction de ce qui a déjà été écrit (spoiler : il y a de statistiques), et comment faire pour que ça ne finisse pas en une soupe fade (spoiler : en ne prenant pas toujours la réponse la plus probable)
Vu que ça utilise des probabilités, d’où viennent elles ? On passe des lettres aux groupes de lettres, puis aux mots. On voit que travailler avec des lettres seules n’est pas pertinent, mais que travailler avec des mots l’est beaucoup plus.
👁 Comment fonctionne la reconnaissance d’images ? A travers un cas plutôt simple (les chiffres de 0 à 10), l’auteur va nous faire parcourir le fonctionnement d’un modèle basé sur des réseaux de neurones, leur objectif (ici faire des tris), le passage de la visualisation graphique du résultat à l’implication mathématique.
Ca permet de comprendre l’impact du nombre de neurones dans le réseau sur la qualité du résultat : avec 2190 neurones, la reconnaissance des chiffres est performante, mais pour trier des chiens et des chats il va a falloir un réseau de 60 650 neurones !! et beaucoup d’exemples pour entrainer le modèle, quand il suffit à un humain d’en voir 3 pour pouvoir généraliser.
💬 Retour aux modèles de langage, qui fonctionnent un peu comme des poupées russes : une partie du réseau de neurones travaille sur la construction de la phrase (« sujet – verbe – complément ») et une partie sur le contenu. On est maintenant sur un réseau de 175 millions de neurones, qui exploitent le corpus de textes mis à leur disposition pour déterminer quel mot ira le mieux derrière quel autre mot.
C’est en anglais, c’est assez détaillé, très bien illustré (les images aident à comprendre), et clairement le meilleur que j’ai lu sur le sujet jusqu’à maintenant.
https://lnkd.in/eAtAca49