Catégories
du token au chatbot
2 articles
-
L'attention : comment les mots « se parlent »
Deuxième volet de la série « Du token au chatbot ». Le mécanisme d'attention, expliqué sans aucun bagage mathématique : produit scalaire, softmax et le trio Query/Key/Value, avec de vraies manips Python pour voir un modèle relier « it » à « cat ».
Lire la suite -
Comment un LLM fabrique un mot
Un LLM ne fait qu'une seule chose : prédire le prochain mot, en boucle. Premier volet de la série « Du token au chatbot » — tokens, embeddings, logits et softmax, avec de vraies manips Python pour voir GPT-2 hésiter puis choisir « Paris ».
Lire la suite