第 3 章

技術原理:LLM コアメカニズムの詳細解析

AI がどのように「考える」かを理解してこそ、よりうまく協働できます。

Token:AI の目に映る世界

Token は AI がテキストを処理するための基本単位です。1 Token はおおよそ英字 4 文字、または中国語 1~2 文字に相当します。

例:

“Hello World” = [“Hello”, “ World”] = 2 tokens

“こんにちは世界” = [“こんにちは”, “世界”] = 2 tokens

Context Window(コンテキストウィンドウ)

Context Window は AI が一度に“見ることができる”テキスト量です。AI の“作業記憶”と考えることができます。

GPT-3.5
4K
短い文章
GPT-4
128K
小説一冊
Claude 3
200K
数冊の本

Attention:AI はどのように重点に「注意を向ける」のか

蛍光ペン理論

文章を読んで、蛍光ペンで重要な箇所をマークするところを想像してください。Attention メカニズムは AI の「蛍光ペン」のようなもので、テキストの中で最も関連性の高い部分を自動的に見つけ出します。

例えば、AI がこの文を処理するとき:

“The cat sat on the mat because it was tired.”

AI は “it” が “cat” を指していることに注目する

実践的な意義

適切な命名は、AI があなたのコードを理解しやすくします。userProfile より data1 より意味があり、AI は文脈をよりよく理解できるようになります。

Prompt エンジニアリング

RTCC フレームワーク

RRole(ロール)

あなたは熟練したフロントエンドエンジニアです...

TTask(タスク)

ログインフォームを作成して...

CContext(コンテキスト)

React と Tailwind を使用...

CConstraint(制約)

サードパーティ製UIライブラリを使用しないでください...

Chain of Thought(CoT)

AI に「ゆっくり考えさせる」ことで、答えをすぐに出すのではなく、一歩ずつ推論させる。

通常の質問:

「9.11 と 9.8 のどちらが大きい?」

CoT の質問:

“9.11 と 9.8 のどちらが大きいですか?一歩ずつ考えてください。”

Few-Shot Learning

AI にいくつかの例を与えることで、望むスタイルと形式を学習させます。

入力: apple
出力: りんご

入力: banana  
出力: バナナ

入力: orange
出力: 

Prompt vs Context

多くの人は Prompt のテクニックに過度に注目し、Context の重要性を見落としがちです。AI に十分な文脈(コード、ドキュメント、例)を与えることは、よく練られた Prompt よりも効果的です。