前の記事
- エンジニアのための「冴えない」プロンプト術 ― 加藤恵から学ぶ、再現性という名の"正義"
- エンジニアのための「冴えない」プロンプト術 ― 澤村・スペンサー・英梨々から学ぶ、"高体温"モデルの不確実性の乗り越え方
- エンジニアのための「冴えない」プロンプト術 ― 霞ヶ丘詩羽から学ぶハルシネーションの構造と制御
- エンジニアのための「冴えない」コンテキスト術 ― 安芸倫也の失敗から学ぶLLMとの協業
- エンジニアのための「冴えない」コンテキスト術 ― 氷堂美智留から学ぶ、長寿命なコンテキストの非力さ
- エンジニアのための「冴えない」プロンプト術 ― 波島伊織から学ぶ、同人ゴロの冷徹なプロンプト術
波島出海は、天性の才能を持つ澤村・スペンサー・英梨々とは異なり、超有名サークル『rouge en rouge』の2代目代表を務める兄・波島伊織から 「売れるための技術」を徹底的に叩き込まれたことは想像に難くありません。彼女の成長は、AIにおけるファインチューニングと、モデルの特性を理解した上で活用するエンジニアリングのメタファーとして最適です。
第1幕：学習データの質が全てを決めるファインチューニング
同じゲーム『リトルラブ・ラプソディ』を起点にしながらも、ごく短期間で英梨々が脅威に感じるほどの成長を出海が遂げたのはなぜか。それは、彼女たちが異なる学習データによって育ったためです。
英梨々は、小学生時代から一定の期間を倫也と断絶した後、独学で自身の才能を磨き上げました。彼女は、特定の誰かによるファインチューニングではなく、膨大な量の同人誌や漫画、アニメから得た独自で無秩序なデータによって育ったと推測できます。一方、出海は兄・伊織によって、 良質な学習データを与えられた ことでしょう。全ては自身の手駒とするために。この違いが、同じ出発点から全く異なる才能を生み出したことを論じます。
第2幕：モデルの個性を見極めろ
LLMには、それぞれ異なる特性があります。私たちがLLMを選ぶことは、まるで「誰をチームにスカウトするか」という行為に似ています。
そして、これまでに語ってきたLLMの分類に当てはめるならば、 Claudeは「低体温モデル」として再現性と一貫性に優れており、一方、ChatGPTは多様なアイデアを生み出す「高体温モデル」としての特性を持っています。そして、Geminiはプロンプト次第でどちらの特性も引き出せる、 柔軟なモデルだと言えるでしょう。これらの モデル特性を理解すること が、適切なタスクに最適なモデルを割り当てるための鍵であることを語ります。
さらに、このモデルごとの特性を理解することは、ハイパーパラメータ調整をある程度スキップできるという大きなメリットにもつながります。モデルが持つ本来の特性を活かせば、複雑なパラメータ設定に時間を費やすことなく、シンプルかつ効果的なプロンプトで目的の出力を得られるからです。
第3幕：創造を阻む「制約」を知る
一方で、そのメリットはデメリットと表裏一体です。
提供されているLLMモデルには、開発者が設定した倫理的・技術的な制約が必ず存在します。これは、特定の条件下では期待通りの出力が得られない可能性があるということです。
例えば、Claudeには「Constitutional AI」という、モデル自身に倫理的なルール（憲法）を与え、そのルールに従って振る舞うように学習させるというユニークなアプローチが採用されています。このモデルの「良心」とも言える制約は、例えば倫理的にグレーな表現や、特定のテーマに関する創造性を抑制する傾向があるかもしれません。これは、そのモデルが「才能がない」のではなく、 「開発者の意図する制約に従うよう訓練されている」 ことを意味します。
本当に自分の好きなように振る舞わせたいのであれば、他者が作ったモデルの制約を受け入れるしかありません。その制約を完全に排除し、自由に振る舞わせたいのであれば、LLMやSLM（Small Language Model）を自作するという道しか残されていません。
終章：ブラックボックスを知ることの価値
最終的に、LLMやSLMを自作するという選択肢は、現実的ではありません。しかし、だからといってLLMが単なるブラックボックスであると諦める必要はないのです。
私たちが知るべきは、そのブラックボックスの「中身」そのものです。 モデルがどのようなデータで学習され、どのような制約を埋め込まれている か。その特性を理解することは、まるでそのモデルをファインチューニングした開発者の思考をトレースするかのようです。
LLMの内部の挙動を完全に理解できなくとも、その 設計思想や特性を知ること は、プロンプトをより効果的に設計し、より質の高い出力を引き出すための強力な武器になります。自作しようがしまいが、この知識は常に有効なのです。