IA générative et LLM : comprendre les bases
Ce cours t'explique ce qu'est un LLM, comment il fonctionne et pourquoi il produit du texte convaincant. Tu repartiras avec les notions essentielles pour comprendre les usages, les limites et les pièges classiques de l'IA générative.
1.Qu'est-ce que l'IA générative
L'IA générative désigne des systèmes capables de créer du contenu nouveau : texte, image, son, code. Contrairement à un logiciel classique qui applique des règles fixes, elle génère des réponses à partir de ce qu'elle a appris sur d'immenses quantités de données. Un LLM, ou grand modèle de langage (Large Language Model), est la version spécialisée dans le texte. ChatGPT, Claude ou Mistral sont des LLM. Concrètement, quand tu demandes à un LLM d'écrire un mail de réclamation, il ne cherche pas un mail existant dans une base. Il calcule, mot après mot, la suite la plus probable compte tenu de ton instruction et de ce qu'il a appris durant son entraînement. Cette capacité à produire du contenu inédit, plausible et adapté au contexte, distingue l'IA générative des outils traditionnels de recherche ou de classification.
- L'IA générative crée du contenu nouveau, elle ne le recherche pas.
- Un LLM est un modèle spécialisé dans la génération de texte.
- ChatGPT, Claude, Mistral sont des exemples concrets de LLM.
2.Comment un LLM apprend le langage
Un LLM s'entraîne sur des milliards de phrases issues d'internet, de livres, d'articles. Pendant cet entraînement, le modèle apprend à prédire le mot suivant dans une phrase. Par exemple, face à "le ciel est", il apprend que "bleu" est plus probable que "tomate". Répété des milliards de fois sur des textes variés, cet exercice simple lui permet de capturer la grammaire, les faits, les styles d'écriture, voire un raisonnement apparent. Le modèle ne mémorise pas des phrases entières : il ajuste des paramètres internes, des sortes de réglages numériques, qui définissent ses probabilités. GPT-4, par exemple, contiendrait plusieurs centaines de milliards de ces paramètres. Cette phase d'entraînement coûte très cher, en calcul et en électricité, ce qui explique pourquoi seules de grandes entreprises peuvent créer les modèles les plus puissants depuis zéro.
- Le modèle apprend en prédisant le mot suivant, répété à très grande échelle.
- Les paramètres sont des réglages numériques appris, pas des phrases stockées.
- L'entraînement initial est extrêmement coûteux en calcul.
3.L'architecture Transformer et l'attention
Les LLM modernes reposent sur une architecture appelée Transformer, introduite en 2017. Son innovation clé s'appelle le mécanisme d'attention : pour chaque mot d'une phrase, le modèle évalue l'importance de tous les autres mots pour comprendre le contexte. Prends la phrase "la souris s'est cachée car elle avait peur du chat". Pour comprendre à qui renvoie "elle", le modèle doit relier ce mot à "souris", pas à "peur" ni à "chat". L'attention permet précisément ce genre de lien, même entre mots éloignés dans le texte. Avant le Transformer, les modèles traitaient les mots un par un, dans l'ordre, ce qui limitait leur capacité à gérer les phrases longues. Le Transformer traite le texte de façon plus globale et parallèle, ce qui a permis d'entraîner des modèles bien plus grands et performants, ouvrant la voie aux LLM actuels.
- Le Transformer utilise l'attention pour relier les mots entre eux dans une phrase.
- L'attention gère les dépendances même entre mots éloignés.
- Cette architecture, née en 2017, a rendu possibles les LLM modernes.
4.Le prompt : dialoguer avec un modèle
Le prompt est l'instruction ou la question que tu donnes au modèle. C'est le principal levier pour obtenir une bonne réponse, car le modèle n'a aucune connaissance de ton intention réelle, il ne travaille qu'à partir du texte que tu lui fournis. Un prompt vague comme "parle-moi de Paris" donnera une réponse générique. Un prompt précis comme "donne-moi trois anecdotes historiques peu connues sur Paris, destinées à un guide touristique pour adolescents" donnera un résultat bien plus utile. Cette pratique s'appelle le prompt engineering, la conception réfléchie d'instructions pour orienter la génération. On peut aussi donner des exemples dans le prompt, une technique appelée few-shot learning, pour montrer au modèle le format ou le style attendu avant qu'il ne génère sa propre réponse. La qualité du prompt influence directement la qualité du résultat.
- Le prompt est l'instruction donnée au modèle, base de toute interaction.
- Un prompt précis et contextualisé améliore nettement la réponse.
- Le few-shot learning consiste à fournir des exemples dans le prompt.
5.Limites : hallucinations et biais
Un LLM ne vérifie pas la vérité de ce qu'il écrit : il génère la suite la plus probable, pas forcément la plus exacte. Ce phénomène s'appelle l'hallucination, quand le modèle invente une information fausse avec assurance, comme une fausse date, un faux article de loi ou une fausse citation. Par exemple, demander une référence scientifique précise peut produire un titre d'article qui n'existe pas. Autre limite : les biais. Le modèle apprend sur des données produites par des humains, qui contiennent des stéréotypes et déséquilibres culturels. Un LLM peut ainsi reproduire des associations discutables entre métiers et genres, simplement parce qu'elles étaient fréquentes dans les textes d'entraînement. Ces limites ne disparaissent pas avec des modèles plus gros : elles demandent une vérification humaine systématique, surtout sur des sujets sensibles, juridiques ou médicaux.
- L'hallucination est une invention plausible mais fausse, dite avec assurance.
- Les biais viennent des données d'entraînement, reflet de la société.
- Une vérification humaine reste indispensable sur les sujets sensibles.
6.Erreurs fréquentes et points d'examen
L'erreur la plus courante est de croire qu'un LLM "comprend" ou "pense" comme un humain : il manipule des probabilités statistiques sur du texte, sans conscience ni intention. Deuxième confusion fréquente : penser que le modèle a accès à internet en temps réel par défaut, alors que sa connaissance s'arrête à une date de coupure d'entraînement, sauf s'il est connecté à des outils externes de recherche. Troisième piège : confondre IA générative et intelligence artificielle en général, alors qu'il existe d'autres approches, comme la classification ou la détection. À l'examen, attends-toi à des questions sur la différence entre entraînement et inférence, l'inférence étant le moment où le modèle génère une réponse à partir d'un prompt, ainsi que sur les notions de token, l'unité de texte que le modèle traite, souvent un mot ou un morceau de mot.
- Un LLM prédit des probabilités, il ne comprend pas au sens humain.
- Distingue bien entraînement, la phase d'apprentissage, et inférence, la génération.
- Le token est l'unité de texte de base manipulée par le modèle.
À retenir
- 1Un LLM génère du texte en prédisant le mot suivant le plus probable, sans compréhension consciente.
- 2Le Transformer et son mécanisme d'attention permettent de relier les mots dans leur contexte.
- 3La qualité d'un prompt influence directement la qualité de la réponse générée.
- 4Les hallucinations et les biais sont des limites structurelles à toujours vérifier.
- 5Il faut distinguer clairement l'entraînement du modèle et l'inférence, moment de la génération.
Dix questions sur ce sujet démarrent tout de suite, corrigées et expliquées.
L'essentiel en six phrases, à relire la veille.
Cours rédigé par intelligence artificielle et relu au fil des retours. Pour un examen officiel, garde tes cours et les textes en vigueur comme référence.