イベントレポート：AI博覧会 Day1

電池残量と戦いながら書いていたので、後から見直してまとめる、という時間は取れていない
そのため、いつも以上に散発的になっている点はご容赦願いたい

本日のイベント

生成AIナレッジ(Notion)

ナレッジ管理が重要だと考えているのは経営層・リーダー層が多く、末端にまで行き届いていないという現実がある

• チャットで流れてしまう
• ナレッジが分散されている
  • 個人でもナレッジ分散されてしまっている、なんでだろう
    • ナレッジ管理ツールによって役割が違う
    • 外部公開した資料が内部資料化できていない（ツールが違う）
  • 部署ごとによって独立したシステム・ツールを使っている

AIエージェントが代行すること・効果
共有された知識を収集、整理しタスクを割り振ることで、業務効率化・促進を図る
AIナレッジツールの選び方が大事！

• 汎用AI
• RAG（ナレッジを引き出す仕組み）
  • データの品質管理・アクセス管理
• エージェント（ファインチューニングではない？）
  • エージェントはプロダクトを横断できる存在であるべき
  • ツール連携（かつ、外部アプリから取得できる情報）とデータソースの公開範囲の制御について、基本はオープンであるべき

NotionAI(OpenAIとAnthoropic)

• AIは使おうと思って使うのではなく、日常業務の中で勝手に使っている存在にする
  • プロンプトエンジニアリング自体にもスキルが必要だったり、手間だったりする。検索するより面倒臭い

所感

• いらない知識をいつまでも持っていても仕方ない。が、誰も管理できてない
• ちょっと一部の説明が腑に落ちない。業務アプリにAIを入れてナレッジツールに持っていく？

NotionとSlackの組み込みができるようになった。やってみるか
Notionの無料版がNotebookLMか？SlackがRAGになるのつよい（Slack90日制限あるかな？／プライベートチャンネルを参照できるかな？）
（そもそも、NotebookLMが使いにくいよね、という印象がある）
→GoogleDrive使おう。NotebookLMにも使えるし、Notionからも参照できる。NotebookLMとしては使いにくいが、NotebookLM自体を評価しないなら頑張る必要なし
せっかくだったら、教材スライドを作ってくれればいいのにな
→スライドではなく、マークダウンで作成できる教材環境とLMSを整備すべきか

Notionを採用せずGitHubサービス系を採用しているのは、GitHubと他システム連携が強いから、と言うのが大きい
他ツール連携のしやすさや、様々なサービスの強さがあり、GitHub以外のサービスも内包してGitHubと言っているのが実情
NotionとGitHubが連携できたらまた考えたい

Gemini

• Geminiも生成AIのモデルだよ（Bard代替）
• 統合AIプラットフォームのVertexAIがある

（Geminiの紹介が色々）

Vertex AI（企業向けGemini？）

エンタープライズの開発者向けのため、残念ながら使えん…
が、データの前処理・後処理をAPIでやってくれるの非常に便利！

所感

• 文章情報を段落にわけてモデルが情報をいい感じにやってくれるので精度が落ちることがあった
• Gemini1.5 Proでは文章も動画も画像もマルチモーダルにやっても全てのコンテクストを一つのモデルでまとめて制御できるので回答精度を担保できる
  • 安価にするなら1.5 Flash
• プロンプトキャッシュを複数ユーザーで共有できるので、RAG-DBとファインチューニングをできるので、プロンプトエンジニアリングのコストを下げられる

日本企業の勝ち筋(一般社団法人GeralativeAI Japan)

トークセッション

団体紹介。大手も共産しているので非常に大きい。
TechWeek2024とか自民党の勉強会・AIPTとか
→加入を狙いたい

歴史から振り返る

• 2023年はAI開発（LLM）が激化
• 2024年はLv競争へ。マルチモーダルAIの時代へ
  • SML競争も

現状、1クォーターごとに革新が起こっているので、3ヶ月勉強しないと陳腐化する

事業会社でのAI活用ステップ

1. AI活用ガイドライン化
2. ChatBot作成
3. 環境整備　← 過去の導入失敗の経験から
4. ルール再考
5. 研修（生成AIパスポート）
6. 資格・コミュニティ

AIリテラシー向上で得られたもの

• 利用用途拡大
• 業務時間削減
  • ↑削減時間で品質向上・新規取り組み・クリエイティブ
  • 早く帰れない、という闇
• 学びの習慣化

ChatGPTは「検索ではない」
勉強会以降に使ってくれる人（定着）が少ない
↑継続的に使い方を教える活動が大事

これから来る技術考察（すでにあるもの紹介）

• LUI(Language User Interface)＝スマートスピーカーのような仕組みをサイトに埋め込む
• Embodied AI(AI人型ロボット)
• カスタムビデオ生成
  • ICML＝機械学習カンファレンス
  • GenAI Japanの会員向けカンファレンスも。個人は協賛・入会できるのか
  • 文章では分からないので、説明解説動画を作って

勝ち筋

• 既存業務を見直そう。AIが入る余地と、AIを活用する環境を作る
• スピード感が大事
  • 若手人材のリクルーティング、スタートアップのM&A
• 例: HR業界は人材マッチングが主業務だが、バックオフィスも含めて利用方法を拡大していく
  • 独自LLM構築
  • 開発者目線でコラボレーションをする場合、コンピューティングリソースが欲しい

日本が負け組という風潮

エンジニアは盛り上がっているけど、それ以外はあまり話題になってなさそう

• パッケージをソリューションにして押し出すべき
  • どう使っていいか分からない（だけど、色々な使い方ができる）
  • スマホで使えるAIが必要？
• 日本には可能性はある。少なくとも、海外から参入したくなる魅力がある
  • ただし、日本人は理解してない。（海外を知らないから？）

生成AI活用の未来と期待

• AIからアドバイスをもらいながら仕事をする時代が来る
  • その中で、我々がすべきことは？
  • アドバイスをするAIと、品質の需要が高まってきそう
  • AIの性格とか、アドバイスの方針とか
• 投資をする＝すぐに「いくら儲かるの？」のような考え方ではなく、自ら切り開いて事例を作るべき
• スマホの普及とAIの普及は同じ。AIという言葉すら使わなくなってくる
  • 投資AIの需要が高まるだろう

生成AIはビジネスにどのように活用できるか(AI inside社)

PoCのためのPoCやってない？

キーワード

• 生成AI: チャットbotではないy
• ハルシネーション: AIがうそをつくこと。幻覚を見ているというのでハルシ

特にハルシ（科学用LLMのGalacticaの例）は悪例。ないものをあるように言ったり
ユーモアがあるのは良いハルシ。科学で言えば新たなタンパク質構造の発見したり。

ハルシのうち、悪例についてはリーチすべきだけど、良い例まで消すか？

AI-OCRの実例

2015年では使い物にならない程度の精度しかなかったものが、2018年には高精度に
2024年にはフリーフォーマットのデータをチューニング・設定なしにやってくれる

LLM: PolySphere-2（社内用）→プレスリリース出したので使えるよ
専用ハードウェア上で稼働し、悪いハルシネーションを抑制できている
非構造化データの構造化精度・比較のデータも

精度だけでなく、ハルシネーションの出現率がすごい。

• GPT-4o: 33.69
• Claude3.5 Sonnet: 19.17
• Llama3.1: 15.96
• Poly-Sphere(1.5-2): 6.21 -> 0.25

これどうやってデータ取ったんだろう？

ハルシネーション対策

ORCの読み込みは問題ない

が、アウトプットの生成はおかしい。これを是正する

1. いったんLLMで構造化
2. 答えが間違っている確率を算出するAI
3. 情報を取捨選択
4. アウトプットを生成

LLMに必要な情報を整形する役割をもつAIが活躍している
→結果的にアウトプット量が少なくなり、早くなって安くなった＝LLMのアウトプット量を削減すると精度が増す

AI-OCRだからこその効率化アプローチ

事前にAIにテンプレートを持たせておき、必要な項目を認識させる（RAGとして）
AIが取ってきた項目が一致するかどうかをチェック→別の書類のフォーマットに合致するか調べてもらう

所感

最近のグラフは期間を取るときにクォーターでつけるのが流行り？
新規事業ではハルシネーションを起こしまくってみる、
運用に乗ったら、悪いハルシネーションを減らす（LLMに仕事をさせない）

社員は減ったらAIに補填させる、という考え方

次の一手・RAGからエージェントへ(Flywheel)

エージェント

• 重要性と可能性
• 自社活用
• 導入ステップ

課題からみる

• 技術
  • 精度
    ーデータ量・質
  • 処理速度
  • 保守
• 人材組織: 人材不足・スキル
• 倫理: セキュリティ
• 社会: 法整備

既存システム連携や精度面、生成結果の正しさが課題
→RAGで解決できる

精度を上げる

生成AI・LLMは事後学習が重要。いわゆる追加学習データ

• プロンプトエンジニアリング
  • ユーザー側が頑張る
• ファインチューニング
  • 特定タスクやドメインに合わせて再訓練
• RAG（リトリーバー）
  • 外部のデータベースやドキュメントを参照
  • LLMと外部知識（学習していないデータ）検索を組み合わせる
    • 人間と同じく、分からないことを調べてまとめる

RAGに入れるもの

• 企業内データ
  • そもそも見つからない、学習してない
• 専門性の高いデータ
  • なくはないけど、解答を回避しようとする
• 最新データ
  • 学習モデルの期間によってはそもそも見つからない、学習してない

RAGを使ったからと言って、正しい使い方をしないと成果が得られにくいのはなんでも一緒か
発展的RAGにより、リライティングをを繰り返し行う

エージェントの登場

ユーザの質問意図を把握し、外部ツールやAPI連携によりリアルタイム処理・情報収集を実現する

RAGを拡張したのがエージェント。RAG＋ファインチューニング？
解答評価として、生成結果に対する検討方法を打診させる

• 回答の妥当性
• 有意性・ネクストアクション、追加質問の打診など

DataOpsの考え方

所感

自己紹介で前職書いておいた方がウケがいいか？
昔はこう思ってたトーク
AIの精度が悪いうちから入ってもらった方が高精度・保守も優先的に対応できるよトークは必要か

思うに、どの企業も「回答精度を上げる」方向に開発を進めているが、個別開発するより一般化するべきでは？
パッケージで対応するべきだと思うが。

人に寄り添う日本語LLM(NVIDIA)

GPUのイメージが強いが、かなり色々やってる
特にスタートアップ支援が強い

• VCとのマッチングサービス
• スタートアップ向けにサービス・製品の割引提供もある
• セルフラーニングも無償提供やってる
• 技術支援

これからのAIの未来

• これからはデジタルヒューマンの時代が来る
  • 各社によってLLMの先の見通しが違うのが面白い！
  • 感情AIの需要が高まるーわかる
  • リアルな人のアバターは人の心を動かす

SpiralAI社の例

ドラえもんを考える
人工AIは音声が重要。音声モデルも工夫あり
高齢者施設向けに息子世代が話し相手になってくれるとやりやすいのかも

感情LLMによる回答例。非常に興味深い例（ただしコンフィデンシャル）
→感情LLMというより、人格LLMだな

ククリさまのデモ（ブラウザで見れそう→見れるよ！）

• デモを見ると、まだロボット味あるな。音声もだし、アバターが口パクしかしないのはこわい。今後に期待
• 人間の回答を全肯定せずに、こうすべき論を促しているのすごい。
• 我々オタクのおもちゃにされなければ良いが（ブーメラン）

ククリさまから学ぶ、キャラクターLLM

ポイント：独自LLMは会話品質を高められる！

ファインチューニングと強化学習により、プロンプトの限界を超えてキャラクターの会話品質を向上することが可能
当然、ハードウェア部分に課題が出てくるーこれをNVIDIAパワーで解決

• EQ系（愛嬌）：会話が弾んだり親近感。スタートアップが参入しやすい
• IQ系：回答精度が高い。ここは研究されつくしてるし、資本力に勝てない

月額課金制の方がいいよね！という料金プランはありがたい

所感

量子コンピューティングがまだまだ？名前自体はかなり聞くが全く想像できない

Preferred Networks社

電池が続く限りやる

AIがもたらすもの

鉄道以前の人力労働から列車へ、大量・高速な輸送が実現
同じように、知的労働量の限界をAIによって突破することができる

膨大な情報処理・タスクの実行と、分析に強い
経済効果（教育水準が高い業務への対応・常識の改変）

知的労働の変化

MMLU（生成AIの性能を測るベンチマークテスト）の回答精度で言えば、専門家並みの回答精度が得られる
一般人でも専門家並みの知識を得られることになる。が、働き方が変わってもAIの苦手分野を人間が対応していく事になる
自社での推進は弱いが、他社事例に興味がある。誰かにベストプラクティスを作って欲しいのだろう
→実は導入して効果が出たよ！という事例は結構ある。他社事例を聞いても自社にどうやって取り入れるか結びつかないのだろうか？
　↑営業の時間削減が一番多いらしい。相性がいいのか元々の無駄が多いのか

業務使用を見ると2:8の法則。個人利用は多い。
業務活用の段階としてはNotionの話と同じ。モデルカスタマイズ＝筆者はキャラクターLLMを想定しているが、高次元か
ここでは専門性の高い分野を指している。研究分野とか
DX研修が必要なのは社員 or 会社（制度）？

打ち手

• 回答精度を上げる
  • プロンプトエンジニアリング
  • RAG
  • ファインチューニング
• 業務効率化

回答制度の高いプロンプトをpromptunaで検索する

検索したらGoogleからレコメンドされたんだが、こっちか？（後日思い出しながら追記しているため、情報が不正確）

RAG単体でなく、プラスアルファの工夫をすると改善できる
追加学習でカスタマイズモデルを作る

追加学習とRAGの違い

論理推論が必要な問題の回答制度。検索でわかるものはRAGでも回答可能
（つまり、未知のパターンの問題への回答制度）
なお、問題の検証パターンについては文字数で分けているので厳密ではないかも
業務効率化をシステム化の例で見る。が、分からん！
LLMの推論コストが大きい
人力知的労働からの開放
今の時点で「他社より安い」を売りにする業者は信用できんな

電池切れた

その後、編集を忘れていて、だいぶ期間が空いてしまって思い出せる内容について補足
当時考えていた事をそのまま残す、という目的を優先したいため、表記やタイポの編集のみ実施している