WHATISAI｜第3章

なぜ毎回、
答えが違うのか

まったく同じ質問なのに、AIは昨日と今日で違うことを言う。バグでも気まぐれでもありません。これは設計です。確率から一語を「選ぶ」その瞬間に、わざと“ぶれ”を入れているのです。

あれ? と思った、あの瞬間「さっきと言うことが違う」問題

キャッチコピーを3案もらおうと、同じ指示を3回出す。すると毎回ちがう案が出てくる。便利な反面、「で、結局どれが正解？」と不安にもなる。なぜ、同じ入力で出力が変わるのでしょうか。

直感 ── 確率から「選ぶ」とき(レンズ③)

第1章で見たとおり、AIは次の一語の確率を並べます。問題はその先。いつも最高確率の語を選ぶとは限らないのです。確率に応じて、サイコロを振るように選ぶ。だから、2番手・3番手の語が選ばれることもある ── これが毎回ちがう理由です。

この“ぶれ”の大きさを決めるのが temperature（温度） という、たった一つの数字です。低くすれば堅実でいつも同じ、高くすれば多様で意外。実際に、つまみを動かしてサイコロを振ってみてください。

触って確かめる：temperature ＝答えの「ぶれ幅」のつまみ「おすすめの週末の過ごし方は？」への次の一語の確率です。つまみを動かすと分布の形が変わり、サイコロで実際に1語選べます。

散歩44%

読書24%

旅行16%

料理10%

映画6%

temperature ＝ 0.80確実多様

中温：そこそこ安定、たまに変化

※ 確率は固定スコアからの計算イメージです。実際のサンプリングは Top-k / Top-p などの工夫も併用します。

この一言でわかる

低温＝確実、高温＝多様。 「とがった山」を作れば一語に集中して安定し、「なだらかな丘」にすれば候補が横並びになって、いろいろな語が顔を出します。temperature はその山の尖り具合を変えるつまみです。

毎回ちがうのは、欠陥ではなく使い分けの対象です。仕事の性質で、ほしい“ぶれ幅”は変わります。

低温が向く

事実の要約・データ抽出・規程の確認

ブレてほしくない仕事。毎回同じ・堅実な答えがほしい場面。

高温が向く

アイデア出し・コピー案・ネーミング

多様性こそ価値。意外な飛躍がほしい場面。3案ちがうのは、むしろ正解。

まず予想してみる

「契約書から金額だけを正確に抜き出す」作業。temperature は高め・低めどちらが向く？

発展発展：temperatureの数式・Top-k / Top-p・なぜ完全には固定できないか▼ 数式が苦手な方は飛ばしてOK

① temperature の数式：第1章の出力softmaxで、ロジット $z$ を温度 $T$ で割ってから確率にします。

P_i = \frac{e^{\,z_i / T}}{\sum_j e^{\,z_j / T}}

$T\to 0$ で最大ロジットの語に確率が集中（＝ほぼ決定的、greedy）。 $T$ を上げると分布が平らになり、多様性が増します。 $T=1$ は素のsoftmax。

② Top-k / Top-p（核サンプリング）：温度だけだと、低確率のおかしな語まで稀に選ばれます。そこで「上位k語だけ」(Top-k)や「累積確率p%までの語だけ」(Top-p / nucleus sampling)に候補を絞ってからサンプリングするのが実務の標準です。

③ greedy / beam search：毎回最確の語を選ぶのが greedy。複数の候補系列を並行保持して最良の文を探すのが beam search（翻訳などで使われる）。

⚠ 正確性の注記： $T=0$ でも、出力が完全に毎回同じになるとは限りません。並列計算による浮動小数点の順序差や、MoEのルーティング、サーバ側の最適化などで、わずかな非決定性が残ることがあります。「温度ゼロ＝厳密に決定的」と言い切るのは正確ではありません。

この章のひとこと

毎回ちがうのは、バグではなく設計。
temperature は、ぶれ幅を選ぶ「つまみ」。

── 次にAIがブレて困ったら、思い出してください。「これは確実さがほしい仕事か、多様さがほしい仕事か」。つまみを意識するだけで、付き合い方が変わります。