はじめに
AIの記事を読んでいた際にコンテキストウィンドウというワードを見つけた。
ザックリとは概要が理解できたが深い理解に落とし込めていないのでいくつかの情報をまとめて理解を深める。
概要
コンテキストウィンドウとは
以下それぞれのサイトより説明文を記載します。
AWSにおいては
LLM の使用可能な短期メモリまたは一時的なストレージと考えてください。これは、モデルが返答を生成する際に一度に考慮できるテキストの最大量 (トークンで測定される) です。
IBMにおいては
The context window (or “context length”) of a large language model (LLM) is the amount of text, in tokens, that the model can consider or “remember” at any one time.
訳:大規模言語モデル (LLM) のコンテキスト ウィンドウ (または「コンテキストの長さ」) は、モデルが一度に考慮または「記憶」できるトークン単位のテキストの量です。
Googleにおいては
Context windows are the amount of information a gen AI model can recall during a session, measured in tokens — the smallest building blocks a model can process, such as a part of word, image, or video.
訳:コンテキスト ウィンドウとは、セッション中に gen AI モデルが呼び出すことができる情報の量であり、トークン (単語、画像、ビデオの一部など、モデルが処理できる最小の構成要素) で測定されます。
TechTargetにおいては
A context window is a textual range around a target token that a large language model (LLM) can process at the time the information is generated. Typically, the LLM manages the context window of a textual sequence, analyzing the passage and interdependence of its words, as well as encoding text as relevant responses. This process of cataloging pieces of a textual sequence is called tokenization.
訳:コンテキスト ウィンドウとは、大規模言語モデル (LLM) が情報の生成時に処理できる、ターゲット トークンの周囲のテキスト範囲です。通常、LLM はテキスト シーケンスのコンテキスト ウィンドウを管理し、単語の通過と相互依存性を分析し、テキストを関連する応答としてエンコードします。テキスト シーケンスの一部をカタログ化するこのプロセスは、トークン化と呼ばれます。
引用URL
要点
コンテキストウィンドウとはAIが生成時に記憶し処理できる容量のことを指す。
この容量以内の指示を出すことでAIは適切に生成を行える。
トークンをどれだけ詰め込めるのかを示す指標としての意味も持つ。
今後は？
@zacky1972 さんと議論をした際にしばらくはこの容量にキチンと収まる指示の出し方ができる能力が重要なのでは？という見解を頂いた。
普段ChatGPTやGeminiだけを使っているとピンと来づらいがAIはテキストベースだけでなく画像データや音声データも処理できるようになっている。
それらの組み合わせを最適に行うことで想定した生成物を出力させることができる。
そういった最適な出力結果を得られるための聞き方やデータの決定を適切に行える能力が重宝するのではないかという見解だった。
私見
上記の見解は的を射ていると感じました。
何もかもを情報として入力するのは手間ですし、限られたトークン処理能力を超えてしまっては最適な生成物を出力できません。
そのためこういった何を質問として詰め込むのかという観点はこれから重要になってくると感じました。
また議論には出ませんでしたが過学習のように情報が多すぎた結果、生成物がズレるというパターンもでるのではないかと筆者は考えています。
つまり人間でも情報が必要以上に多いと却って判断を誤るように不適切な情報を入れないという観点も出てくるのではないか？という観点です。
これがどこまで的を得ているのかが不明ですが、AI=完全無欠ではないのではないかと感じます。
結局はAIもツールであり万能の魔法でなく常に使い手に委ねられているということなのかもしれません。
どのツールにおいてもlinuxのsudoコマンドの以下が成り立つのかもしれません。
あなたはシステム管理者から通常の講習を受けたはずです。
これは通常、以下の3点に要約されます:
#1) 他人のプライバシーを尊重すること。
#2) タイプする前に考えること。
#3) 大いなる力には大いなる責任が伴うこと。