#tokenisation

Un modèle de langage ne lit pas des mots

Les tokens sont l'unité réelle avec laquelle un LLM travaille. Comprendre ce découpage change la façon d'écrire ses prompts.