Transformer
定義:自己注意機構を用い、文章内の離れた要素同士の関係を捉えるモデル構造。
具体例:長い文章の前半の主語と後半の述語の関係を評価する。
単純に単語を1個ずつしか処理できないRNNとは構造が異なる。
生成される理由と、間違う理由を理解する。
定義:自己注意機構を用い、文章内の離れた要素同士の関係を捉えるモデル構造。
具体例:長い文章の前半の主語と後半の述語の関係を評価する。
単純に単語を1個ずつしか処理できないRNNとは構造が異なる。
定義:入力中の要素同士の関連性に応じて情報を参照・重み付けする仕組み。
具体例:「彼女」が何を指すか前後の文脈から参照する。
文字の出現頻度だけ数える方法ではない。
定義:ノイズを加える過程と、そのノイズを取り除く過程を学習してデータを生成する。
具体例:ランダムなノイズから徐々に画像を作る。
GANと異なり、必ず生成器・識別器の対戦構造を使うわけではない。
定義:大規模なデータで事前学習され、複数の下流用途に転用できるモデル。
具体例:共通の言語モデルを要約にも分類にも応用する。
特定の企業だけでしか使えないという意味ではない。
定義:文章・画像・音声など異なる種類の情報を組み合わせて扱う性質。
具体例:写真を見せながら文章で質問する。
文章だけを扱うテキストモデルとは入力対象が違う。
定義:大量データから一般的なパターンや表現を獲得する初期の学習段階。
具体例:大量の文章から次に来る語の傾向を学ぶ。
特定の会社の指示に合わせる追加学習とは目的が違う。
定義:学習済みモデルのパラメータを追加学習で調整し、特定の用途に適応させる。
具体例:業界用の分類データで既存モデルの重みを調整する。
資料を検索して渡すRAGと異なり、モデル自体に変更を加える。
定義:人間の評価を利用し、望ましい応答の傾向へモデルを調整する学習手法。
具体例:回答候補を人が比較評価し、望ましい振る舞いを学習させる。
人間が毎回リアルタイムで回答を代筆することではない。
定義:文章をモデルで扱うための単位に分割する前処理。
具体例:長文を単語の一部などの単位へ分ける。
必ず日本語の単語1語が1トークンになるわけではない。
定義:単語や文書などを数値ベクトルへ変換し、意味の近さを扱える表現にする。
具体例:意味の近い商品レビューをベクトル検索で探す。
元の文章を必ず復元できる暗号化方式ではない。
定義:文脈をもとに次のトークンの確率分布を計算する生成の基本方式。
具体例:「明日の天気は」に続く自然な表現を予測する。
事実を直接照合して確定する検索機能とは違う。
定義:生成AIが事実と異なる内容をもっともらしく生成する現象。
具体例:存在しない論文名を実在するかのように答える。
文法が自然でも事実が正確とは限らない。
定義:次トークンの確率分布から選択する際のランダム性に関係する設定。
具体例:創作案の多様性を高めるため温度を調整する。
温度を下げても必ず正解になるわけではない。
定義:累積確率が指定割合に達するまでの候補からトークンを選ぶサンプリング手法。
具体例:上位の確率質量に入る候補だけで文章を続ける。
温度と同じ数値尺度ではない。
定義:モデルが一度に参照できる入力・出力などの文脈量の上限。
具体例:長い会話の古い部分が参照範囲から外れる。
長期記憶の保存容量と同じものではない。
定義:外部事業者のサーバー上の言語モデルをネットワーク経由で利用する形態。
具体例:ブラウザから提供会社のAIへ問い合わせる。
自社環境で実行するオンプレミスLLMと配置場所が異なる。
定義:組織が管理する設備や環境で言語モデルを運用する形態。
具体例:社内サーバーにモデルを配置し内部システムから利用する。
必ず無償・高精度・情報漏洩ゼロになるわけではない。
定義:モデルの重みが公開されている状態。
具体例:公開済みの重みをダウンロードして独自環境で動かす。
ソフトウェア全体が無制限に自由なオープンソースとは限らない。
定義:回答前の複雑な問題解決に追加の推論計算を行うよう設計・訓練されたモデル群。
具体例:多段階の論理問題に計算資源を使って答える。
すべての推論過程が利用者に公開されるとは限らない。
定義:デジタルコンテンツの作成・編集履歴などの来歴情報を扱う技術標準群。
具体例:画像に由来情報を付与して編集経緯を検証しやすくする。
付いていない画像が必ず偽物という判定方法ではない。