
36 min de lecture
L'attention : comment les mots « se parlent »
Deuxième volet de la série « Du token au chatbot ». Le mécanisme d'attention, expliqué sans aucun bagage mathématique : produit scalaire, softmax et le trio Query/Key/Value, avec de vraies manips Python pour voir un modèle relier « it » à « cat ».