WHATISAI｜付録A

AIで「つくる」を制御する
── デザイン・画像・動画・音楽

ここまでは「言葉をつくる」AIの話でした。付録Aは「画像・動画・音楽・デザインをつくる」AIです。仕組みの中身は違いますが、制御の発想は同じ ── 本資料の3つのクセ（予測・文脈・ゆらぎ）の延長で、品質と再現性を握れます。仕事で“つくらせる”すべての人へ。

⚠ 製品名・性能は2026年時点で変化が速く、一部アーキは各社非公開（推定を含む）。大事なのは仕組みと制御の考え方です。── 本文の点線の専門用語は、タップすると意味が出ます。

まず、つながりを「つくる」AIも、結局おなじ3つのクセ

画像も音楽も、根っこはLLMと同じ ── 確率分布からのサンプリングです。「つくる」とは分布から1つ引くこと、「制御」とは条件を与えて分布を作り替えること、「ゆらぎ」とは引くたびに残るばらつき。つまり、あなたが学んだ3つのクセが、そのまま効きます。

クセ	言葉（LLM）	画像（拡散モデル）	動画・音楽
予測	次の一語の確率	各ステップで“乗っているノイズ”を予測	音のトークン予測／時空間のデノイズ
文脈	プロンプトが確率を変える	プロンプト＋ControlNetが分布を条件付け	参照音声・参照フレームで条件付け
ゆらぎ	temperature	seed・guidance・ステップ数	seed・guidance

画像生成砂嵐から、絵を“彫り出す” ── 拡散モデル

画像生成AI（Stable Diffusion・FLUX・Midjourney 等）の主流は拡散モデルです。発想は意外なほど単純 ──「ノイズだらけの砂嵐から、少しずつノイズを取り除いて絵にする」。まず、手を動かして体感してください。

触って確かめる：画像は「ノイズから彫り出される」拡散モデルは、砂嵐のようなノイズから少しずつノイズを取り除いて画像にします。スライダーでその過程を、ボタンで“最初のノイズ（seed）”を変えてみてください。seed を変えると、出来上がる絵そのものが変わります。

純ノイズ（砂嵐）（進行 0%）

デノイズの進行ノイズ画像

seed = 1

※ 同じ「夕暮れ」という指示でも、seed が変われば構図も色も山の形も変わります ── これが“ゆらぎ”のクセ。スライダーを画像側にしたまま seed を変えると、別の完成画が現れます。プロンプトは「どんな画像へ向けて」彫るかの条件付け（“文脈”のクセ）。実際の拡散はもっと精緻ですが、直感はこの通りです。

何が起きているか

AIは「いまの画像に乗っている“余計なノイズ”はどれか」を毎ステップ予測し、それを引き算します（“予測”のクセの画像版）。これを何十回も繰り返すと、砂嵐が絵になる。プロンプトは「どんな絵に向けて彫るか」の条件付け（“文脈”のクセ）、seed は最初の砂嵐＝ゆらぎです。

仕事で効く、7つの制御レバー

レバー	役割	実用のコツ
プロンプト	条件を定義	媒体・画風・構図・照明・レンズを具体的に
Guidance（従順さ）	プロンプトへの従順さ vs 多様性	LLMのtemperatureの逆向き版。高すぎると過飽和・崩れ
ステップ数	デノイズの回数	多いほど精細だが頭打ち。新型は少数でも十分
Seed（再現性）	最初のノイズを固定	同条件で再現。プロンプト調整時は固定して差分比較
ネガティブ指定	避けたい方向	「指の崩れ・透かし」等、苦手を打ち消す
ControlNet	構図・骨格で拘束	下絵・ポーズ・深度で“構図は固定、画風は自由”
LoRA	画風・キャラを少量学習で固定	ブランドの絵柄を一貫させる。第2章のLoRAと同じ仕組み

仕事の核心は「再現性」と「ブランド一貫性」。seed固定＋ControlNetで構図＋LoRAで画風を抑えれば、「同じブランドの人物が、別の場面でも同じ見た目」で出せます。バラバラな“ガチャ”から、制御できる制作へ。

動画生成時間という、もう1つの軸

動画は、画像の拡散を時間方向に拡張したものです（全フレームをまとめてデノイズ）。最大の難所は時間的一貫性 ── フレーム間で顔や色がチラついたり別物になる問題で、各社が「時間方向の注意機構」などで対策しています。

モデル（2026時点）	傾向	注意
Sora 2（OpenAI）	複数人物の長めシーン	カメラ精密制御は限定的
Veo 3（Google）	物質のレンダリング精度	長尺・高解像度に制約
Kling 3.0（Kuaishou）	多ショットの一貫性・高解像	写実性は競合に一歩
Runway Gen-4	時間的一貫性に強み	画像入力前提・音声なし

限界も正直に：1分超の一貫した内容、精密なカメラワーク、物理的にもっともらしい動きは2026年時点で未解決領域。短尺・明確な指示・人の確認、が実務の基本です。

音楽・音声生成音を「トークン」にして、つくる

音楽生成（Suno・Udio・MusicGen 等）は、まず音をトークン（小さな単位）に変換し、あとはLLM的に「次のトークンを予測」するか、画像と同じく「ノイズから生成」します。言葉のしくみと、地続きです。

得意と苦手

得意：数十秒〜数分の、それらしい楽曲を高速に。苦手：サビ・Aメロの繰り返しといった曲全体の構造の制御（長距離の一貫性はの弱点）。制御は、ジャンル・構成・参照をプロンプトで与え、区間ごとに編集・延長するのが実務的。

⚠ 著作権は現在進行形：2025年にRIAAが主要サービスを提訴、その後 Warner・Universal は和解・提携へ、Sonyは未和解で判決見込み（2026年）。商用利用は各サービスのライセンス条件を確認し、既存曲に酷似しないか人がチェックを。枠組みは変わりうる前提で。

デザイン／UIなぜAIのデザインは「平凡」になりがちか

AIにUIやデザインを作らせると、どこかで見た“既視感”のある平凡なものになりがちです。これは偶然ではなく、仕組みの必然 ── AIは確率分布の“真ん中（最頻値）”に引き寄せられるからです（“予測”のクセ）。ある研究では、700の自律生成ループがわずか12の典型モチーフに収束し、temperatureを変えても防げませんでした。RLHF（人好みへの最適化）も「無難な平均」への収束を後押しします。

平凡から抜け出す制御レバー

① デザインシステム／トークンを文脈に渡す

色・余白・字種などの規定値を機械可読（JSON）で与える。「DESIGN.md」に“なぜこの色か”の意図まで書くと、画面をまたいだ一貫性が保てる（“文脈”のクセ）。

② 参照と制約で分布をずらす

参照デザイン・ブランド資産、ControlNetで骨格を拘束。アクセシビリティ（コントラスト比等）も“制約”として最初から与える。

③ 見て直す（反復グラウンディング）

生成→スクショで観察→修正のループ。重要な判断は人が承認（human-in-the-loop）。「68%がAIで書くが、信頼するのは32%」という溝を、検証で埋める。

経営インパクト：デザイン品質は「良いプロンプト」より「どの層で何を条件として注入するか」の設計で決まる。これは付録Bの“コンテキスト設計”、実践編の“スキル化”と同じ話です。

貫く一本の原理制御レバー早見表（言葉→画像→動画→音楽）

すべての生成AIは「分布からのサンプリング＋条件付け＋ゆらぎ」。だから制御レバーも、メディアを超えて対応します。

やりたいこと	言葉(LLM)	画像	動画・音楽
再現性を上げる	seed固定・決定的	seed固定	seed固定（不可な場合も）
従順にする	temperatureを下げる	guidanceを上げる	スタイル指定を強める
多様性を出す	temperatureを上げる	guidanceを下げる	seedを振る
構造を拘束する	システム指示・例示	ControlNet・LoRA	参照・構成プロンプト

まず予想してみる

画像生成で「同じキャラを、別の場面でも同じ見た目で」出したい。最も効くのは？

発展発展：拡散モデルの数式（forward / reverse / CFG / LoRA）▼ 数式が苦手な方は飛ばしてOK

① ノイズを加える（forward）：元画像 $x_0$ に少しずつノイズを足し、最終的に純ノイズ $x_T\approx\mathcal{N}(0,I)$ にする。各時刻は解析的に書けて、学習は不要です。

x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\varepsilon,\quad \varepsilon\sim\mathcal{N}(0,I)

② ノイズを当てる（reverse）：ニューラルネット $\varepsilon_\theta$ が「乗っているノイズ」を予測し、引き算して戻す。学習目標はシンプルに「予測ノイズと本物ノイズの誤差」。

\mathcal{L}=\mathbb{E}\big[\,\lVert \varepsilon - \varepsilon_\theta(x_t,t)\rVert^2\,\big]

③ 潜在拡散（Stable Diffusion）：ピクセルのまま扱うと重いので、で圧縮したで拡散し、最後に復元する。これで実用速度に。

④ Classifier-Free Guidance（従順さ＝w）：条件あり/なしの予測の差を外挿して、プロンプト方向へ強める。 $w$ がそのまま「従順さ vs 多様性」のつまみ（LLMのtemperatureに対応）。

\hat\varepsilon = \varepsilon_\theta(x_t,\varnothing) + w\,\big(\varepsilon_\theta(x_t,y) - \varepsilon_\theta(x_t,\varnothing)\big)

$w$ を上げるほど従順だが、大きすぎると過飽和・崩れ（モード崩壊）に。⑤ LoRA は第2章と同じく重みの差分を低ランク近似 $\Delta W = BA$ で学習し、画風やキャラを少量データで固定します。

⚠ 注記：新型は（例：FLUX）で少ステップ化。GPT-4o系の画像は自己回帰と拡散のハイブリッドと推定されますが各社アーキは非公開。seedも、モデル版やGPU差で完全再現にならないことがあります。出典：Ho et al. 2020 (DDPM, arXiv:2006.11239)、ControlNet (arXiv:2302.05543) ほか。

付録Aのひとこと

「つくる」AIも、分布から引いて、条件で狭めて、ゆらぎを飼いならす。
言葉で学んだ3つのクセが、そのまま効く。

── 画像・動画・音楽・デザイン。メディアが変わっても、問いは同じです。「どの層に、何を条件として与えるか」。プロンプトを書く以上に、ここを設計できる人が、品質を握ります。