はじめに
はじめまして。社内でデータサイエンティストを務めております@nttd-furukawakです。
今回は、2025年3月に開催した生成AI(LLM)の基本原理とビジネス利用セミナーでご紹介させていただいた内容を元に、生成AIの肝となる大規模言語モデル(LLM)の機能を技術的に説明し、LLMを活用する上での課題やリスク、LLMのビジネス動向やユースケース、生成AIを用いた業務の進め方を具体的な社内事例を交えてご紹介させていただきます。
主に、LLMの初学者や、LLMをビジネスにどう活かすのかを知りたい、といった方を対象として想定した内容にしており、LLMの仕組みの中にある数学的な論理や詳細な専門的内容には触れないのでご了承ください。
本記事の主な想定読者
- そもそも大規模言語モデル(LLM)とは何なのか・何ができるのかを知りたい
- 生成AIをどのように業務に活用していけばいいか、活用する上での課題が何なのかを知りたい
- 生成AIを用いたPJ推進におけるPoCフェーズに課題を感じている
目次
1. 大規模言語モデル(LLM)とは
2. LLMの発展的要素
3. LLMのビジネスの動向
4. PJ推進における注意ポイント
5. 今後の展望
6. 最後に
1.大規模言語モデル(LLM)とは
本章ではLLMの動作イメージ・発展経緯・構築までの流れ・基本的な用語について紹介し、LLMを扱う上での課題やリスク、それを踏まえてLLMから良い出力を得るための工夫について記載いたします。
LLMの動作イメージ
LLM(Large Language Model)とは、自然言語処理（NLP）と呼ばれる分野で使用される人工知能の一種です。自然言語処理（NLP）というのは、我々人間が日常生活で使用している日本語や英語といった言語のことを指します。
LLMの主な用途としては以下のようなものが挙げられます。
LLMは次に来る単語の予測&生成を逐次的に連続して行うことで、一つの文章(テキスト)を生成し、上記のような質疑応答や文章要約など様々な用途に適用することができます。
以下がLLMの動作イメージです。
LLMの発展経緯
次に、上記のように文章を自動で生成してくれるLLMは、どのように発展してきたかについてご紹介します。
言語を扱う機械学習の領域は、自然言語処理(NLP)として数十年前から研究が行われてきました。いくつかの大きなテクノロジーの発展により、いまのLLMの発展につながっています。
2013年に単語埋め込み(※詳しくは後述)の概念が生まれ、ディープラーニング技術の研究が進み始めてから急速なスピードで発展を遂げ、そこからたった数年でLLMが登場しました。詳細は後述しますが、Google社から発表されたBERTや、ChatGPTのモデルになっているGPTモデルもLLMの一種です。
LLMができるまで(LLM構築の全体像)
上記でLLMがどのように発展してきたのかを見てきましたが、ここからはもう少し詳しく、LLMがどのようなステップを経て構築されていくのかを見ていきましょう。
LLMはいくつかのステップに分けて構成されます。
ステップごとにそれぞれ必要な学習データと適する機械学習アルゴリズムを用いて、段階的に高度なモデルが作成されていきます。
まず事前学習ステップにて、大規模コーパス（言語データが大量に格納されたデータセット）から、それぞれの言葉の意味や用法をモデルに学習させます。
次に事後学習ステップにて、学習済みモデルが質問者の意図に沿った正しい回答ができているか、反倫理的・暴力的な回答を生成していないか等を人の手でチェックし、的を得た正しい回答を出力できるようにチューニングをおこないます。
そして最後に事後学習を終えたモデルを用途に合わせてカスタマイズしていきます。画像の例ではRAG（※詳しくは後述）と呼ばれる外部情報を外付けでLLMに渡してその情報を参照して回答を出力させる技術を用いたり、追加データをLLMに学習させて再度チューニングをおこなうことで用途に合ったLLMを作成することができます。
LLMの構成要素（重要な用語の定義）
次にLLMの構成要素（重要な用語の定義）についてご紹介いたします。
トークンとは
トークンとは、自然言語処理における形態素解析などで扱われる、テキストを細かく分割した基本的な単位のことです。
上記の図の例だと、分割された「私」や「東京都」がそれぞれトークンにあたります。
テキストをトークンごとに分けることをトークナイズ(トークン化)といいます。
LLMに入力されたテキストは、最初に上記のようにトークナイズされます。
単語の埋め込みとは
単語の意味を表現したベクトルのことを単語ベクトルといい、単語を単語ベクトルに変換することを単語の埋め込みといいます。以下は単語埋め込みの例です。
単語同士の意味が近ければベクトル同士の内積の値（類似度）が大きくなります。単語の意味を表現したベクトルであればコンピュータが大規模なテキストから意味を学習することができます。
コーパスとその推移
自然言語処理で用いるために構築された大規模なテキストデータセットのことをコーパスといいます。以下は大規模言語モデルのコーパスの単語数の推移です。
※引用元：babylm.github.io
ここ数年で大規模言語モデルのコーパスの単語数も桁違いに増加していることが見て取れます。
一般に、機械学習におけるスケーリング則と呼ばれる経験的な法則から、データセット量、すなわちコーパスのトークン数（単語数）が多いほど、大規模言語モデルの予測精度が向上することが知られています。
LLMの種類（例）
次に、LLMにはどのような種類のものがあるのかを見ていきましょう。
LLMには、様々な企業が開発した多種多様なモデルが存在します。ここでは、現在活用されている主なモデルを7つ列挙します。
※タイプ
①文書分類が得意なモデル(速度重視)
②文章生成・予測が得意なモデル(速度重視)
③①と②両方得意なモデル(精度重視)
有名どころで言うと、Googleが発表したGeminiやChatGPTのモデルになっているOpenAIo1などがあります。
最右列のタイプの箇所に記載している通り、LLMはアーキテクチャの特性上、得意とするタスクがそれぞれ異なります。したがって最新版のモデルなら何を使ってもいいというわけではなく、タスクの特性にあったモデルを選択することが重要です。
主な課題やリスク
LLMを扱う上では課題やリスクも存在するため、代表的なものを3つほどご紹介いたします。
1.もっともらしい嘘をつく（ハルシネーション）
生成された内容に対する真偽が不透明なケースがある
- 事前学習されたデータに求められた回答の内容が無い場合でも、最も確率の高いものを出力するためにまったく的外れな回答を生成してしまう
- LLMを使うシーン(顧客への回答など)によっては、リスクが非常に大きい
- 最近では対策のために、LLMの出力のなかにデータソースを明示するケースが多くなっている
2.生成できる内容に不得手な分野が多い
主観的な情報、公開されていない情報(企業内限定の情報)などは、期待する出力が得られないケースが多い
- 人によって答えが分かれる内容(社会学観点(ジェンダー論など))、学習データにない情報は基本的に出力がうまくいかないケースが多く、LLMで扱うには難易度が高い
3.データのセキュリティやガバナンス
個人情報・機密情報などがLLMを通して漏洩したり、出力したデータが著作物の盗用や剽窃（著作権侵害）になってしまう可能性がある
- 質問者がプロンプトに機密情報を入力してしまった場合、LLMはその情報を学習し、他の質問者が似たような質問をした際に学習した機密情報を使用して回答を生成してしまうリスクがある
これらのような課題・リスクを考慮した上で、LLMを利用する必要があります。
良い出力を得るための工夫
上記の課題やリスクを踏まえた上で、良い出力を得るための工夫があるので2つほどご紹介させていただきます。
プロンプトエンジニアリング
これは人に対して質問をする際も同じですが、単純に特に何も指定せずに漠然とした質問をするよりも、質問文に「命令」「文脈」「入力データ」「出力指示子」を含めて質問することにより、より期待した回答に近い出力を得ることができます。
RAG
RAG(Retrieval-Augmented Generation)は、LLMに外部情報(非公開情報や最新情報)を外付けする形で組み込み、LLMに外部情報を含めて回答をさせる技術です。
例えば、上記のように「NTTデータの○○事業部の主任で基盤構築に詳しい人を教えて。」といったような、一般には公開されていない情報に関する質問をしても、そのままの状態ではLLMは期待する回答を出力できません。そこで、RAGによって外付け情報をLLMに付与することで、その情報を使って期待する回答を生成できるようになります。
このように、RAGを用いることによって公開されていないような特定分野に関する質問に対応することができます。
2.LLMの発展的要素
1章ではLLMの基本原理や、LLMを扱う上で注意しなければならない課題やリスク、それを踏まえた上で良い出力を得るための工夫を紹介してきました。
本章ではLLMの大きく3つの発展的要素についてご紹介いたします。
要約生成
要約生成とは長い文章から内容を短くまとめた要約を生成するタスクです。元のトークン系列を要約文のトークン系列に変換する系列変換タスクの一種で、要約生成で扱うモデルや評価指標は機械翻訳や対話システム等でも活用できることが多いです。
要約生成の評価指標
LLMが要約生成した文章の精度を評価する指標がいくつかあるのですが、ここでは代表的なものをご紹介します。
それぞれの評価指標に一長一短があるため、通常はこれらの指標を複数組み合わせた上で要約文の精度を評価します。
要約生成の手法
LLMが要約文を生成する手法には様々なものがあります。
まずは貪欲法とビームサーチについてご紹介します。
尚、この貪欲法やビームサーチは要約生成に限った手法ではありませんが、後述のサンプリングによる要約生成との対比のためにここでご紹介しております。
四角の中の数字は各トークンを選択する確率を表しています。
貪欲法とは文頭から順に各生成時点で最も確率の高いトークンを選択することで文章を生成する手法です。上の図では赤色の経路を辿ってトークンを選択しています。
一方でビームサーチというのは特定の幅の候補を残して、最終的に全体で最も高い確率となるトークン列を選択して文章を生成する手法です。上の図では黄色の線を辿ってトークンを選択しています。この例では特定幅は2です。貪欲法は特定幅が1のビームサーチと呼ぶこともできます。
貪欲法は各生成時点で最も確率の高いトークンを選択するため、生成速度は速いですが、同時確率を考慮に入れていません。上の図の例でも同時確率の最も高い「0.32」というトークン列を見逃しています。それに対し、ビームサーチでは同時確率の最も高い「0.32」のトークン列を選択できています。
このように、ビームサーチは特定の幅を候補として残すことで同時確率の高いトークン列を見逃す可能性を低くすることが可能です。
次にサンプリングによる要約生成についてご紹介します。
サンプリングによる要約生成は、最も確率の高いトークンを選択するのではなく、生成確率に基づいてランダムにトークンを抽出して文章を生成する手法です。
貪欲法やビームサーチは何度試しても似たような文章を生成してしまう特徴があるのに対して、サンプリングによる生成ではランダムにトークンを抽出しているため多種多様な文章を生成することが可能です。
文埋め込み
次に文埋め込みについてご紹介します。
文埋め込みとは、文の意味をベクトルで表現すること、または、文の意味を表現したベクトルそのもののことを指します。
意味が似た文章には類似度（内積）の高いベクトルが与えられます。
文埋め込みの目的
文埋め込みの目的は、”意味的類似度の計算”と、”転移学習の特徴量として利用”という2つがあります。
まず1つ目の”意味的類似度の計算”から見ていきましょう。
ユーザーの入力した質問文と類似度の高い過去のFAQを上位に表示させる際に意味的類似度の計算がおこなわれます。上図の例だと質問文と関連性の強い文章が上位に表示されるようになります。
次に2つ目の”転移学習の特徴量として利用”を見ていきましょう。
この例では、入力された文章がベクトルに変換され、分類器を用いて肯定的な意見なのか、否定的な意見なのかに分類されています。このような技術はインターネット上の口コミ等の感情分析に利用されます。
質疑応答システム
最後に質問応答について述べます。
質問応答とは、自然言語の質問に対して適切な回答を出力するタスクを指します。
質問応答タスクのイメージを以下に示します。
自然言語の質問にLLMが適切に答えられていることが分かります。
質問応答システムの分類
任意の質問に対する応答にはクローズドブック方式とオープンブック方式の二種類があります。
クローズドブック方式とは文書の検索をおこなわずに学習したデータのみを用いてLLMが回答を生成する方式のことです。文書検索をおこなわないため回答生成速度は速いですが、虚偽の回答（ハルシネーション）を生成するリスクがあり、注意が必要です。
それに対してオープンブック方式とは知識源となる文書の検索と学習したデータの両方を用いて回答を生成する方式であり、クローズドブック方式に比べてハルシネーションを生成するリスクが抑えられます。RAGによる回答の生成もこのオープンブック方式に該当します。
3.LLMビジネスの動向
ここまでで、LLMの原理や技術的要素についてご紹介してきましたが、ここからはLLMのビジネスの動向についてご紹介します。まずは市場規模の拡大と、シェア率（導入数）から述べます。
※引用元：https://www.gii.co.jp/report/vmr1421102-global-large-language-model-market-research-report.html
市場規模
大規模言語モデル(LLM)の市場規模は2023年の53億6,000万米ドルから、2032年には865億1,000万米ドルに達すると予測されており、非常に高い成長率を示しています。この成長は、クラウドベースのAIサービスの普及や、LLMのスケーラブルな展開とトレーニングが可能になったことによるものだとされています。
シェア率
2023年度時点で、LLM市場全体(普及率・導入数)の約90%をOpenAI,Google,Metaの3社が占めています。
今後の予測でも依然としてこの3社が大部分を占める状況に変化はない見込みです。3社個別で見ると、 OpenAI,Meta社はシェアを僅かに落とす見込みですが、Googleはシェアを伸ばしてトップのOpenAIに迫ってくる見込みです。
日系企業の動向
株式会社ＭＭ総研が2023年におこなった、企業1599社を対象とした、言語系の生成AIやLLMの利用動向を調査するWebアンケートの結果を以下に示します。
※引用元：https://aismiley.co.jp/ai_news/mmresearch-survey2024-llm/
既に言語系生成AIを導入しているという企業は全体の19%、検討段階が約2割となっており、現状はそこまで導入率・検討率は高くありません。まだまだ伸びしろのある分野と言えます。
既に導入済みと回答した企業の現在の利用状況と今後の方針が上図です。2023年度時点では7割以上が試験環境での利用に留まっていますが、2025年度には約7割が全社的に導入していく予定だと回答しています。このグラフからも今後LLMの市場規模が急速に拡大していくことが予想できます。
4.PJ推進における注意ポイント
3章では、ビジネスにおいてLLMの需要が急速に拡大しているのを見てきました。この需要の急速な拡大はLLMが革新的な技術であり、画期的な機能をもったものであることの証左であると思いますが、闇雲に何の考えもなしにLLMをビジネスに導入していいというわけでは決してありません。1章でもご紹介しましたが、LLMには特有の課題・リスクが存在するため、そこを考慮に入れた上で導入を検討しなければなりません。
本章では、LLMをPJで導入していく上での注意ポイントをご紹介させていただきます。
LLMを活用する上でのリスクをおさらいしておきましょう。
LLMを導入したPJを推進していく上で大切なのは、上記のようなLLM特有のリスクを鑑みて、計画的な検証をおこなっていくことです。
その中でも特に設計・検証フェーズにて、生成AIならではの課題・リスクを考慮して設計および検証をおこなうことが肝要です。
では、具体的にどのように設計をしていけばよいのか、その具体例を見ていきましょう。
ネット通販のAI Chatツールにおけるユーザ設計
ここでは例としてネット通販のAI Chatツールにおけるユーザ設計の工夫点を見ます。
この例でまず考え得る生成AIならではのリスクとして、AI Chatツールを介して悪意を持った何者かが敵対的なプロンプトを用いて不正にデータを盗み出す危険性があります。非会員でもAI Chatツールを利用できてしまうと、不正な操作をおこなったユーザの特定ができません。
そこで、生成AIの機能やユーザ権限に制限を設けることで有事の際にユーザを特定できるようになり、不正操作自体を防止することもできるようになります。
例えば上の図の例だと、図の左側のように、会員(商品提供者)がデータを取得しようとした際にはAI Chatツールはプロンプトでの要求に応じて販売実績を出力しています。ところが図の真ん中のように、ただのネット通販利用者が商品の販売実績を不正に取得しようとした場合にはAI Chatツールはユーザの権限が足りないため、回答を生成せず、情報漏洩を防止しています。さらに図の右側のように、非会員がAI Chatツールを利用した場合にはプロンプトを入力させず、会員登録を促すような画面に遷移し、素性の知れない人物に操作されることを防いでいます。
こういった制御を実現するには、ユーザ認証、ユーザ認可、ユーザ同意が必要不可欠となります。また、各ステークホルダーのロールを理解することも重要です。
上記を設計に組み込むことで、各ユーザに必要十分な権限を与えることができ、LLMならではのリスクを低減できるということが理解いただけたと思います。
5.今後の展望
ここまでで、LLMの基本原理、発展的要素、LLMのビジネスにおける動向や生成AI導入における注意ポイントをご紹介させていただきました。
本章ではここまでご紹介した内容を踏まえてNTTデータとして今後どのように生成AIを活用していきたいか、その展望を述べます。
上記記載の通り、我々NTTデータのデータサイエンスチームは、AIプラットフォーム、DataRobotというツールの生成AI機能を用いてお客様からの問い合わせに対する回答の自動生成を実現したいと考えております。
DataRobotって？
DataRobot社は、人工知能（AI）に対するユニークなコラボレーション型のアプローチであるバリュー・ドリブン AIのリーダーです。
DataRobot社の製品であるDataRobotは、自動機械学習（AutoML）プラットフォームであり、機械学習モデルの構築、トレーニング、評価、デプロイメントを自動化することができます。複雑なデータ分析を迅速かつ簡単に実行し、優れた予測モデルの作成をサポートすることが可能です。
近年では生成AI機能も強化し、予測AIとのコラボレーションによってさらなるAIサクセスの実現を加速させています。
現状
現状として、お客様から寄せられる個々の質問に対して、弊社のデータサイエンスチームが蓄積した業種別のナレッジや製品マニュアルから回答に必要な情報の検索・抽出をメンバが手動でおこない、一次回答の生成をおこなっています。
データ分析の手法やデータの加工方法に関して、業種問わず似たような問い合わせが数多く存在し、特に同じ業界、業種のお客様からの問い合わせだと、分析の精度を向上させる方法（どういった特徴量を考慮すればいいか）が似通っている場合が多いため、そのひとつひとつを人の手で対応しなければならないのは非常に非効率です。
DataRobotの生成AI機能を利用した場合の想定
そこで、DataRobotの生成AI機能を用いて、一次回答を自動化することで回答が容易な質問にかかる時間を削減し、問い合わせ対応業務の効率化をおこないたいと考えております。また、弊社で業種別に蓄積したデータ分析に関するナレッジを検索し、引用元の情報も自動で付加した上で一次回答を生成することで、人手で一次回答を作成していた際と変わらないクオリティで、よりスピーディーに問い合わせ対応が可能となると考えております。
6.最後に
今回は生成AI(LLM)の基本原理とビジネス利用に関してご紹介させていただきました。
ここまで記載してきた内容で、読者の皆様の生成AI(LLM)に対する理解が深まり、生成AI(LLM)導入への足掛かりになれれば幸いです。
今後も他の機能の紹介記事を投稿していきたいと考えておりますので、期待していてください！
参考書籍
- 山田育矢(2023),『大規模言語モデル入門』,技術評論社
仲間募集
NTTデータ テクノロジーコンサルティング事業本部 では、以下の職種を募集しています。
1. クラウド技術を活用したデータ分析プラットフォームの開発・構築(ITアーキテクト/クラウドエンジニア)
クラウド／プラットフォーム技術の知見に基づき、DWH、BI、ETL領域におけるソリューション開発を推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/cloud_engineer
2. データサイエンス領域（データサイエンティスト／データアナリスト）
データ活用／情報処理／AI／BI／統計学などの情報科学を活用し、よりデータサイエンスの観点から、データ分析プロジェクトのリーダーとしてお客様のDX／デジタルサクセスを推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/datascientist
3.お客様のAI活用の成功を推進するAIサクセスマネージャー
DataRobotをはじめとしたAIソリューションやサービスを使って、
お客様のAIプロジェクトを成功させ、ビジネス価値を創出するための活動を実施し、
お客様内でのAI活用を拡大、NTTデータが提供するAIソリューションの利用継続を推進していただく人材を募集しています。
https://nttdata.jposting.net/u/job.phtml?job_code=804
4.DX／デジタルサクセスを推進するデータサイエンティスト《管理職/管理職候補》
データ分析プロジェクトのリーダとして、正確な課題の把握、適切な評価指標の設定、分析計画策定や適切な分析手法や技術の評価・選定といったデータ活用の具現化、高度化を行い分析結果の見える化・お客様の納得感醸成を行うことで、ビジネス成果・価値を出すアクションへとつなげることができるデータサイエンティスト人材を募集しています。ソリューション紹介
Trusted Data Foundationについて
～データ資産を分析活用するための環境をオールインワンで提供するソリューション～
https://www.nttdata.com/jp/ja/lineup/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。
TDFⓇ-AM（Trusted Data Foundation - Analytics Managed Service）について
～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～
https://www.nttdata.com/jp/ja/lineup/tdf_am/
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。
NTTデータとDatabricksについて
NTTデータは、お客様企業のデジタル変革・DXの成功に向けて、「databricks」のソリューションの提供に加え、情報活用戦略の立案から、AI技術の活用も含めたアナリティクス、分析基盤構築・運用、分析業務のアウトソースまで、ワンストップの支援を提供いたします。NTTデータとTableauについて
ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。
これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
https://www.nttdata.com/jp/ja/lineup/tableau/
NTTデータとAlteryxについて
Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。
導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。
NTTデータとDataRobotについて
NTTデータはDataRobot社と戦略的資本業務提携を行い、経験豊富なデータサイエンティストがAI・データ活用を起点にお客様のビジネスにおける価値創出をご支援します。
NTTデータとInformaticaについて
データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。
https://www.nttdata.com/jp/ja/lineup/informatica/
NTTデータとSnowflakeについて
NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。
Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。