Un modèle génératif apprend des régularités pendant son entraînement. Lors de son utilisation, il s’appuie sur ces paramètres et sur le contexte pour produire une sortie. Un modèle de langage autorégressif prédit successivement des tokens possibles. Cela peut donner un texte utile sans garantir que toutes ses affirmations sont exactes.
Comment un modèle de langage génère du texte
- Découpage : l’entrée devient une suite de tokens, qui peuvent être des mots, des morceaux de mots ou des signes.
- Représentation : ces tokens sont transformés en vecteurs numériques avec des informations sur leur position.
- Traitement du contexte : les couches du Transformer combinent l’attention et d’autres opérations pour construire des représentations adaptées au contexte.
- Prédiction : le modèle attribue des probabilités aux tokens suivants possibles.
- Sélection : le système choisit un token selon les réglages de génération, l’ajoute au contexte et recommence.
À quoi sert l’attention ?
L’attention calcule comment différentes parties du contexte s’influencent. Dans « Le robot a posé le verre car il était fragile », elle peut contribuer à relier « il » au verre. Plusieurs têtes d’attention peuvent représenter des relations différentes. Ce mécanisme n’est ni un détecteur de vérité ni une explication parfaite du raisonnement du modèle.
Et pour les images ?
De nombreux générateurs utilisent la diffusion : le modèle apprend à inverser un processus qui ajoute du bruit aux images. Pour générer, le système part du bruit et le transforme progressivement, guidé par le prompt. Les mécanismes diffèrent de ceux d’un modèle de langage, mais ils reposent aussi sur des régularités apprises et une génération de nouvelles sorties.
Que change le RAG ?
La génération augmentée par recherche, ou RAG, est une organisation de l’application : elle recherche des passages dans un ensemble documentaire et les place dans le contexte avant la réponse. Cela peut apporter des informations plus récentes et vérifiables. Mais une mauvaise recherche, une source peu fiable ou une mauvaise interprétation restent possibles. L’application doit conserver les sources et relier correctement ses citations aux affirmations.
Pourquoi parle-t-on d’hallucinations ?
Une hallucination est une sortie plausible mais fausse ou sans fondement. Les objectifs d’entraînement ne garantissent pas une réponse vraie dans chaque cas. Le risque augmente notamment lorsque les éléments disponibles sont insuffisants, que la question porte sur un fait obscur ou qu’elle exige une référence très précise.
Utilisez l’IA pour préparer, transformer et comparer. Pour une affirmation importante, ouvrez la source originale et vérifiez qu’elle soutient réellement la réponse.
Questions fréquentes
L’IA générative se contente-t-elle de copier ?
Elle compose généralement à partir de régularités apprises. Mais elle peut parfois reproduire des éléments mémorisés ; les questions de confidentialité, de droit d’auteur et d’attribution restent importantes.
Qu’est-ce qu’un prompt ?
C’est l’entrée fournie au modèle : une consigne, un contexte, des exemples, des contraintes ou un format de sortie attendu.
Le RAG supprime-t-il les hallucinations ?
Non. Une bonne recherche documentaire peut réduire certaines erreurs, mais elle ajoute aussi ses propres points de défaillance. Il faut toujours évaluer l’ensemble du système.
Sources originales et institutionnelles
Articles de recherche pour les mécanismes, ressources institutionnelles pour les repères. Les pages de fabricants décrivent leurs propres produits ; elles ne constituent pas une évaluation indépendante.
- Attention Is All You Need (2017) — Vaswani et al.
- On the Opportunities and Risks of Foundation Models (2021) — Bommasani et al. · Stanford
- Retrieval-Augmented Generation (2020) — Lewis et al.
- Denoising Diffusion Probabilistic Models (2020) — Ho et al.
- AI Risk Management Framework — NIST
Continuer avec le compagnon dans ChatGPT
Explorez les thèmes du musée, posez vos questions et testez votre compréhension avec des quiz dans ChatGPT. Le compagnon et le jeu gardent des progressions séparées.
Découvrir le compagnon ChatGPTRevu le 6 septembre 2026. Navigation et ressources mises à jour le 1er octobre 2026. Méthode et limites du projet.