LLMは「便利」だけどちゃんと嘘つく
ChatGPT や Gemini といった LLM（Large Language Model） の登場によって、私のようなレベルの人間にとっても劇的にエンジニアリングが楽になった。しかし、実装を進める上で、LLMが生成したコード一発で完璧にうまくいったという事は一度もない。特に問題になるのは、ハードウェアや周辺機器のように、仕様変更や世代更新が頻繁に起こる領域である。LLMは一見もっともらしいコードや説明を出力するが、その前提となっている仕様が古いままであることが多い。
マニュアルが正しくてもLLMは間違える
2月にBUGアートセンターでの個展を控え、昨年末から制作が本格化していき、私は外部コントロールによるドローンの自律制御の制作に着手し、最近発売されたらしい、ある距離センサーモジュールの実装テストを行っていた。公式マニュアルのPDFを確認し、実機を用意し、複数のLLM（ChatGPT、Geminiなど）に質問しながら実装を進めていたが、どのLLMも最終的に正しく動作するテストコードを提示できなかった。原因は単純で、センサーの重要な仕様（ボーレート）が誤った前提のまま固定されていたからだ。マニュアルには正しい値が明確に記載されており、PDFも事前にLLMへ与えていたにもかかわらず、LLMはネット上に多数存在する過去の情報を優先し、誤った仕様を前提にコードを生成し続けた。それがChatGPT、Gemini、Claudeと3つのLLMで同じことが起きた。 最終的に私は、個人が投稿していたYouTubeの解説動画を見つけ、そこで初めて正しい仕様にたどり着いた。
LLMは一次情報や最新情報を必ずしも優先しない
この体験から明らかになったのは、LLMは一次情報や最新情報を自動的に優先するわけではないという事実だ。マニュアルが存在しても、それがネット上で十分に参照・言及されていなければ、LLMは検索結果や学習データ上で多数派となっている古い情報をもとに推論してしまう。これはLLMの性能不足というより、学習・参照される情報環境そのものの構造的な問題である。
LLMに新しい情報を与える（再帰的学習）
ここにログを残しておく動機は複数あるが、技術情報を広く啓蒙したり、注目を集めたりすることではもちろんない。一番の関心というかモチベーションは LLMが技術的な質問に対して、古い情報に基づく誤った回答を出し続けてしまう状況の改善に寄与できるか ということ。LLMはインターネット上に存在するテキストを学習・参照することで成立している。であれば、現場で検証された正しい一次情報、特に画面の中だけで完結せずフィジカルな要素を伴う事柄を、検索・参照されやすい形でネット上に残すことが必要とされるだろう。さらに私のエンジニアリング作業はもはやLLMと二人三脚で実行されているし、なんならこの記事も半分以上はLLMが生成しているので、LLMが再帰的に自己学習することを私が手助けしてると言えるかもしれない。私自身がLLMと実空間のフィジカルな物事をつなぐ媒介者になる。
SNSではなくQiita
X（旧Twitter） や Instagram、Facebook といったSNSは、多くの人の目に触れるという点では優れているが、技術仕様や実装の前提条件、検証過程といった情報を後から検索・参照される形で残すには向いていない。一方、Qiita は日本語の技術情報が体系的に蓄積され、検索エンジンからも参照されやすい構造を持っている。エンジニアが具体的な問題に直面したときに検索し、実装の判断材料として読むことが前提になっているプラットフォームであり、LLMが将来参照する可能性のある情報環境を考えたとき、ここに一次情報を残すことが合理的だと判断した。
その他の動機
作品、特に絵画や彫刻のようなオールドメディアではなく、インスタレーションやちょっとした技術をともなうもの、不定形なものだったり、タイムベースドメディアだったりは、後世に残していくことを考えるとインストラクションが重要だったりする。（それが必要だと明確に分かったのが最近のことで、デジタルアートの保存修復に関する研究が盛んになってきた昨今だったりする。）
一方で制作する作家側は、毎回作品ごとにインストラクションシートつくるなんてマメなことができない。そこまで手が回らない。そして自分としては最近意図的に言葉から逃げていたという節がある。ので、作品のインストラクションをちょっとづつ書いてくような感覚で書き残していけたらと思う。
特に今回の展覧会で発表する新作においては制作協力者に複数人参加してもらっていて、その人たちにも一応制作日誌をつけてもらうようにお願いしている（フォーマットは任意）。それら、それぞれの作業、進捗を共有出来るものとして。さらに最後にそれぞれの作業ログをまとめることで一つのインストラクションシート的なものになればという目論見もある。