Comment fonctionne un transformer (ChatGPT, Gemini) : l'avocat a mangé un avocat

« L'avocat a mangé un avocat. » Vous savez tout de suite lequel se mange. Mais une machine, comment le sait-elle ? En 1954, chez IBM à New York, une machine traduit plus de soixante phrases du russe vers l'anglais, avec environ deux cent cinquante mots et six règles. En 2016, Google Translate adopte la traduction neuronale : la phrase entière est traitée d'un bloc. En 2017, des chercheurs de Google publient « Attention Is All You Need » : le Transformer se passe de récurrence et ne repose que sur l'attention. Grâce à une idée appelée l'attention, au cœur de ChatGPT, de Gemini et de Mistral. Trois étapes, c'est parti. Étape un : les mots deviennent des nombres. Chaque mot devient un vecteur, une liste de nombres : son adresse sur une carte du sens. Sur cette carte, mangue, poire et fruit sont voisins. Juge, tribunal et procès aussi. Mais le mot avocat, seul, reste coincé entre les deux. Étape deux : l'attention. Chaque mot regarde tous les autres, en même temps, et pèse ceux qui comptent pour lui. Le second avocat regarde le verbe manger : le lien est fort. Il en prend le sens et glisse vers les fruits. Le premier, celui qui mange, rejoint le tribunal. Étape trois : on empile. Six couches en 2017, quatre-vingt-seize dans GPT-3 : à chaque couche, le sens s'affine. Au sommet, le modèle choisit le mot suivant le plus probable. Puis il recommence, mot après mot : c'est comme ça qu'il écrit. Ce modèle, le transformer, a été publié en 2017 par une équipe de Google. Les assistants KOAEE reposent sur cette famille de modèles, avec Mistral, en Europe. Quand un client de nos clients pose une question, l'attention relie ses mots aux informations de l'établissement : assurance, mairie, clinique ou hôtel, dans sa langue. Pour comprendre l'IA en 150 secondes, abonnez-vous à la chaîne. KOAEE, l'IA qui reste entre vous. Essayez-le sur koaee.ai, dès aujourd'hui.