CHAPTER 02 / FREE TEXTBOOK

第2章 生成AI

生成される理由と、間違う理由を理解する。

LESSON 02-01概念と具体例

Transformer

定義:自己注意機構を用い、文章内の離れた要素同士の関係を捉えるモデル構造。

具体例:長い文章の前半の主語と後半の述語の関係を評価する。

混同しないポイント

単純に単語を1個ずつしか処理できないRNNとは構造が異なる。

この用語を問題で確認 →
LESSON 02-02概念と具体例

Self-Attention

定義:入力中の要素同士の関連性に応じて情報を参照・重み付けする仕組み。

具体例:「彼女」が何を指すか前後の文脈から参照する。

混同しないポイント

文字の出現頻度だけ数える方法ではない。

この用語を問題で確認 →
LESSON 02-03概念と具体例

拡散モデル

定義:ノイズを加える過程と、そのノイズを取り除く過程を学習してデータを生成する。

具体例:ランダムなノイズから徐々に画像を作る。

混同しないポイント

GANと異なり、必ず生成器・識別器の対戦構造を使うわけではない。

この用語を問題で確認 →
LESSON 02-04概念と具体例

基盤モデル

定義:大規模なデータで事前学習され、複数の下流用途に転用できるモデル。

具体例:共通の言語モデルを要約にも分類にも応用する。

混同しないポイント

特定の企業だけでしか使えないという意味ではない。

この用語を問題で確認 →
LESSON 02-05概念と具体例

マルチモーダル

定義:文章・画像・音声など異なる種類の情報を組み合わせて扱う性質。

具体例:写真を見せながら文章で質問する。

混同しないポイント

文章だけを扱うテキストモデルとは入力対象が違う。

この用語を問題で確認 →
LESSON 02-06概念と具体例

事前学習

定義:大量データから一般的なパターンや表現を獲得する初期の学習段階。

具体例:大量の文章から次に来る語の傾向を学ぶ。

混同しないポイント

特定の会社の指示に合わせる追加学習とは目的が違う。

この用語を問題で確認 →
LESSON 02-07概念と具体例

ファインチューニング

定義:学習済みモデルのパラメータを追加学習で調整し、特定の用途に適応させる。

具体例:業界用の分類データで既存モデルの重みを調整する。

混同しないポイント

資料を検索して渡すRAGと異なり、モデル自体に変更を加える。

この用語を問題で確認 →
LESSON 02-08概念と具体例

RLHF

定義:人間の評価を利用し、望ましい応答の傾向へモデルを調整する学習手法。

具体例:回答候補を人が比較評価し、望ましい振る舞いを学習させる。

混同しないポイント

人間が毎回リアルタイムで回答を代筆することではない。

この用語を問題で確認 →
LESSON 02-09概念と具体例

トークン化

定義:文章をモデルで扱うための単位に分割する前処理。

具体例:長文を単語の一部などの単位へ分ける。

混同しないポイント

必ず日本語の単語1語が1トークンになるわけではない。

この用語を問題で確認 →
LESSON 02-10概念と具体例

埋め込み(Embedding)

定義:単語や文書などを数値ベクトルへ変換し、意味の近さを扱える表現にする。

具体例:意味の近い商品レビューをベクトル検索で探す。

混同しないポイント

元の文章を必ず復元できる暗号化方式ではない。

この用語を問題で確認 →
LESSON 02-11概念と具体例

次トークン予測

定義:文脈をもとに次のトークンの確率分布を計算する生成の基本方式。

具体例:「明日の天気は」に続く自然な表現を予測する。

混同しないポイント

事実を直接照合して確定する検索機能とは違う。

この用語を問題で確認 →
LESSON 02-12概念と具体例

ハルシネーション

定義:生成AIが事実と異なる内容をもっともらしく生成する現象。

具体例:存在しない論文名を実在するかのように答える。

混同しないポイント

文法が自然でも事実が正確とは限らない。

この用語を問題で確認 →
LESSON 02-13概念と具体例

Temperature

定義:次トークンの確率分布から選択する際のランダム性に関係する設定。

具体例:創作案の多様性を高めるため温度を調整する。

混同しないポイント

温度を下げても必ず正解になるわけではない。

この用語を問題で確認 →
LESSON 02-14概念と具体例

Top-p

定義:累積確率が指定割合に達するまでの候補からトークンを選ぶサンプリング手法。

具体例:上位の確率質量に入る候補だけで文章を続ける。

混同しないポイント

温度と同じ数値尺度ではない。

この用語を問題で確認 →
LESSON 02-15概念と具体例

コンテキストウィンドウ

定義:モデルが一度に参照できる入力・出力などの文脈量の上限。

具体例:長い会話の古い部分が参照範囲から外れる。

混同しないポイント

長期記憶の保存容量と同じものではない。

この用語を問題で確認 →
LESSON 02-16概念と具体例

クラウド型LLM

定義:外部事業者のサーバー上の言語モデルをネットワーク経由で利用する形態。

具体例:ブラウザから提供会社のAIへ問い合わせる。

混同しないポイント

自社環境で実行するオンプレミスLLMと配置場所が異なる。

この用語を問題で確認 →
LESSON 02-17概念と具体例

オンプレミスLLM

定義:組織が管理する設備や環境で言語モデルを運用する形態。

具体例:社内サーバーにモデルを配置し内部システムから利用する。

混同しないポイント

必ず無償・高精度・情報漏洩ゼロになるわけではない。

この用語を問題で確認 →
LESSON 02-18概念と具体例

オープンウェイト

定義:モデルの重みが公開されている状態。

具体例:公開済みの重みをダウンロードして独自環境で動かす。

混同しないポイント

ソフトウェア全体が無制限に自由なオープンソースとは限らない。

この用語を問題で確認 →
LESSON 02-19概念と具体例

推論モデル

定義:回答前の複雑な問題解決に追加の推論計算を行うよう設計・訓練されたモデル群。

具体例:多段階の論理問題に計算資源を使って答える。

混同しないポイント

すべての推論過程が利用者に公開されるとは限らない。

この用語を問題で確認 →
LESSON 02-20概念と具体例

C2PA

定義:デジタルコンテンツの作成・編集履歴などの来歴情報を扱う技術標準群。

具体例:画像に由来情報を付与して編集経緯を検証しやすくする。

混同しないポイント

付いていない画像が必ず偽物という判定方法ではない。

この用語を問題で確認 →