技術原理:LLM コアメカニズムの詳細解析
AI がどのように「考える」かを理解してこそ、よりうまく協働できます。
Token:AI の目に映る世界
Token は AI がテキストを処理するための基本単位です。1 Token はおおよそ英字 4 文字、または中国語 1~2 文字に相当します。
例:
“Hello World” = [“Hello”, “ World”] = 2 tokens
“こんにちは世界” = [“こんにちは”, “世界”] = 2 tokens
Context Window(コンテキストウィンドウ)
Context Window は AI が一度に“見ることができる”テキスト量です。AI の“作業記憶”と考えることができます。
Attention:AI はどのように重点に「注意を向ける」のか
蛍光ペン理論
文章を読んで、蛍光ペンで重要な箇所をマークするところを想像してください。Attention メカニズムは AI の「蛍光ペン」のようなもので、テキストの中で最も関連性の高い部分を自動的に見つけ出します。
例えば、AI がこの文を処理するとき:
“The cat sat on the mat because it was tired.”
AI は “it” が “cat” を指していることに注目する
実践的な意義
適切な命名は、AI があなたのコードを理解しやすくします。userProfile より data1 より意味があり、AI は文脈をよりよく理解できるようになります。
Prompt エンジニアリング
RTCC フレームワーク
あなたは熟練したフロントエンドエンジニアです...
ログインフォームを作成して...
React と Tailwind を使用...
サードパーティ製UIライブラリを使用しないでください...
Chain of Thought(CoT)
AI に「ゆっくり考えさせる」ことで、答えをすぐに出すのではなく、一歩ずつ推論させる。
通常の質問:
「9.11 と 9.8 のどちらが大きい?」
CoT の質問:
“9.11 と 9.8 のどちらが大きいですか?一歩ずつ考えてください。”
Few-Shot Learning
AI にいくつかの例を与えることで、望むスタイルと形式を学習させます。
入力: apple 出力: りんご 入力: banana 出力: バナナ 入力: orange 出力:
Prompt vs Context
多くの人は Prompt のテクニックに過度に注目し、Context の重要性を見落としがちです。AI に十分な文脈(コード、ドキュメント、例)を与えることは、よく練られた Prompt よりも効果的です。