Principes techniques : analyse approfondie des mécanismes de base des LLM
Ce n’est qu’en comprenant comment l’IA « pense » que l’on peut mieux collaborer avec elle.
Token : le monde vu par les yeux de l’IA
Un token est l’unité de base qu’IA utilise pour traiter le texte. Un token correspond approximativement à 4 caractères anglais ou à 1 à 2 caractères chinois.
Exemple :
“Hello World” = [“Hello”, “ World”] = 2 tokens
“Bonjour le monde” = [“Bonjour”, “le monde”] = 2 tokens
Context Window (fenêtre de contexte)
Le Context Window est la quantité de texte qu’une IA peut “voir” à la fois. Vous pouvez le considérer comme la “mémoire de travail” de l’IA.
Attention : comment l’IA « se concentre-t-elle » sur les points clés ?
Théorie du surligneur
Imaginez que vous lisez un article en surlignant les points clés. Le mécanisme d’Attention est le « surligneur » de l’IA : il repère automatiquement les parties les plus pertinentes du texte.
Par exemple, lorsque l’IA traite cette phrase :
“The cat sat on the mat because it was tired.”
L’IA remarquera que “it” fait référence à “cat”
Portée pratique
Un bon nommage permet à l’IA de mieux comprendre votre code.userProfile que data1 C’est plus pertinent, et l’IA comprendra mieux le contexte.
Prompt engineering
Cadre RTCC
Vous êtes un ingénieur front-end expérimenté...
Aidez-moi à créer un formulaire de connexion...
Utilisation de React et Tailwind...
N’utilisez pas de bibliothèque UI tierce...
Chain of Thought（CoT）
Amener l’IA à « ralentir et réfléchir », à raisonner étape par étape au lieu de donner directement une réponse.
Question générale :
« Lequel est le plus grand, 9.11 ou 9.8 ? »
Question CoT :
“Lequel est le plus grand, 9.11 ou 9.8 ? Réfléchissez étape par étape.”
Few-Shot Learning
En donnant quelques exemples à l’IA, apprenez-lui le style et le format que vous souhaitez.
Entrée : apple Sortie : pomme Entrée : banana Sortie : banane Entrée : orange Sortie :
Prompt vs Context
Beaucoup de gens se concentrent excessivement sur les techniques de Prompt et négligent l'importance du Context. Fournir à l'IA suffisamment de contexte (code, documentation, exemples) est plus efficace qu'un Prompt soigneusement conçu.