鹿児島 Advent Calendar 2024

私たち株式会社PROMPT-Xとして、鹿児島 Advent Calendar 2024に初参加してみました。

私たち、PROMPT-Xの鹿児島のオフィスはこちら

ちょうど南日本銀行さんの立派な本店の市役所側になります。目の前が市電の朝日電停かつ1Fにはセブンイレブンも入っていてとっても便利です。

参加の経緯

私たちは、2002年に株式会社コムツァイト（PROMPT-Xの前身）として創業以来、先進的なソフトウェア技術を基盤とした事業展開を行ってまいりました。特にIoT/M2M分野において、独自の技術開発と実装経験を積み重ね、社会インフラや産業分野のデジタルトランスフォーメーション（DX）をIT/ICT技術推進する企業として成長を遂げてきた背景があります。

原点：鹿児島

現代のデジタル技術は、地方の持つ可能性を最大限に引き出す力を秘めていると確信しています。私たちは、鹿児島の地で生まれ、芽生えた志を原動力に、培ってきた技術とノウハウを故郷へと還元し、新たな価値の創造に挑戦できれば素敵だと考えています。

本題：Claude Haiku3.5とHaiku3とOpusやSonnet3.5との比較

Claude Haiku3.5(claude-3-5-haiku-20241022)がリリース

Anthropic APIで「claude-3-5-haiku-20241022」を使ってみました。ちょっと前に話題となった「Opus3」を凌駕する性能だそう。
前バージョンと比較して、速度とコストを維持しつつ性能が大幅に向上しており、特にコーディングや問題解決における能力が顕著です。HumanEvalテストでは88.1%、MATHテストでは69.2%という高スコアを記録したそう。

結論

Haiku3.5は凄いけど、Haiku3の魅力は未だ色あせない！　Sonnet3.5はやっぱり秀悦で洞察力も凄い。Opusはもう引退かな・・・という結果になっています。

お題

先日の「高知生成AIラボ生成AIに関心のある方のためのトーク＆交流会　〜活用事例編〜」で弊社（株式会社PROMPT-X）の「リモート接客サービス＆アプリ」を使って、高知の会場と講師を繋いでオンラインミーティングをした際の文字起こし結果を議事録にまとめさせます。

要約対象

弊社（株式会社PROMPT-X）の「リモート接客サービス＆アプリ」では、高性能Speech-To-Textを使って文字起こしした結果が、独自のアルゴリズムにより話者分離されて一定の文章にタイムスタンプを付けてJSONデータ化できます。約35分の遠隔地同士の会話を文字起こししてTimestamp付けてJSON化するとこんな感じになります。

文字起こし結果JSONの一部

ファイルサイズとしては「66.5KB（UTF-8）」ぐらいになります。日本語の文字数（＝トークン数とホボ同じ）は、1万文字ぐらいです。

プロンプト

以下の様なプロンプトを作成して指示を出します。

以下の文字起こし結果から、議事録を作成してください。会議名、日時、場所、参加者（氏名と立場）、議題（複数の場合は重要度や優先順位が高い議題から、箇条書きの後に要約を300文字程度）で議事録形式でまとめてください。

結果

Haiku3.5（claude-3-5-haiku-20241022）

処理時間は「time:8,943[ms]」でした。感想としては

Haiku3からの進化は着実に見てとれる
UTCの議事録JSONからJSTに自動変換して議事録の日時に起こしている（嬉しい！）
文字起こし結果の中からだけで数名居たことを判別している（驚き！）
複雑なプロンプトに着実に対応している

議事録

会議名：AI活用に関する意見交換会

日時：2024年10月6日 15:25〜15:55

場所：オンライン会議室（dev_room_01）

参加者：
- 菊永氏（司会進行）
- 小林氏（AIコンサルタント）
- 天野氏（企業経営者）

議題：
1. AIツールの組織内活用
2. 人事評価におけるAI活用
3. セキュリティとガイドライン

議事要旨：
AIツールの組織内活用について、初期段階では業務以外の個人的な用途から始めることが
効果的であることが共有された。特に、チャットGPTやClaudeなどのAIツールを気軽に使用し、
徐々に組織内で共有テンプレートやプロンプトを作成することで、導入の障壁を下げられる
可能性が議論された。また、人事評価におけるAI活用については、対面でのコミュニケーション
の重要性を前提としつつ、補助的な役割としての可能性が探られた。セキュリティ面では、
データ流出防止や組織内ルール作りの重要性が強調され、法人向けAIサービスの管理機能の
活用が提案された。

特記事項：
- AIツール導入は段階的アプローチが有効
- 組織文化の変革が重要
- セキュリティとプライバシーへの配慮が不可欠

以上

Haiku3（claude-3-haiku-20240307）

処理時間は「time:9,109[ms]」でした。感想としては、

安定のHaiku3の性能は色あせない
内容としては充分であり、やっぱりHaiku3は素晴らしい
Haiku3.5もいいけど、Haiku3が1/4の価格であるコスパを考えると競争力ある

会議名: AI活用に関する意見交換会
日時: 2024年10月6日 6:25 - 6:55
場所: オンライン会議室
参加者:
- 浜田さん (スタッフ)
- 小林さん (顧客)

議題:
1. AI活用の現状と課題
   - 金融機関や中小企業におけるAI導入事例の共有
   - 人事評価や業務効率化などへのAI活用の可能性と課題
2. 組織内でのAI活用の工夫
   - AIツールの共有やテンプレートの活用
   - AIを活用した業務改善の取り組み
3. その他
   - AIを経営者として活用する事例の紹介
   - AIの倫理的な課題への対応

要約:
会議では、金融機関や中小企業におけるAI活用の現状と課題について意見交換が行われた。
人事評価や業務効率化などへのAI活用の可能性が議論され、組織内でのAI活用の工夫として、
AIツールの共有やテンプレートの活用、AIを活用した業務改善の取り組みなどが提案された。
また、AIを経営者として活用する事例の紹介や、AIの倫理的な課題への対応についても話し合われた。
参加者からは、AIの活用に向けた具体的な取り組みや、セキュリティ面での懸念など、
実践的な意見が多数出された。

Opus（claude-3-opus-20240229）

処理時間は「time:25,967[ms]」でした。感想としては、

遅い
複雑なタスクに対応しているが、内容がHaiku系と大して変わらない

会議名: AI活用に関する勉強会
日時: 2024年10月6日
場所: オンライン会議
参加者:
- 小林さん (司会進行役)
- 浜田さん (AIアドバイザー)
- 松木さん (参加者)

議題:
1. AIの人事評価への活用について
   - 人事評価へのAI活用事例の共有と議論
   - 面談内容の文字起こしとAIによる分析の可能性
2. 組織内でのAI活用の工夫について 
   - 組織内でのAI活用の現状と課題
   - AI活用を促進するための工夫や次のステップ
3. セキュリティとルール作りについて
   - AIを活用する上でのセキュリティ面の懸念
   - 社内ルール作りとベストプラクティスの必要性

要約:
本会議では、AIの活用に関する様々なトピックについて議論が行われた。
人事評価へのAI活用については、面談内容の文字起こしとAIによる分析の可能性が示唆された。
組織内でのAI活用については、現状の課題と活用を促進するための工夫について意見が交わされた。
セキュリティとルール作りに関しては、データ漏洩などの懸念から社内ルールの必要性が指摘された。
AIの導入により業務効率化が進む一方で、余剰人員の活用など組織の在り方自体を見直す必要性に
ついても議論された。

Sonnet3.5（claude-3-5-sonnet-20241022）

処理時間は「time:10,037[ms]」でした。感想としては、

会議名をちゃんと内容から拾っている（すごい！）・・・実際このタイトルのコーナーでした
参加者の立場を読み取って、菊永さんが講師であることを文字データだけから読み取っている（すごい！）
内容も秀悦である
処理速度もHaiku系にそう劣らない

以下の形式で議事録を作成いたします。

議事録

会議名：教えて菊永さんコーナー - AI活用に関する質疑応答セッション

日時：2024年10月6日 15:25-15:55

場所：オンライン会議室(dev_room_01)

参加者：
- 菊永氏（AI活用アドバイザー/講師）
- 司会進行者
- 複数の参加者

議題：
1. 企業におけるAI活用の現状と課題
2. AIツール(ChatGPT、Claude等)の活用事例
3. 金融機関でのAI導入事例
4. 組織内でのAI活用推進方法
5. AIの人事評価への活用可能性

要約：
本セッションでは、企業におけるAI活用について、特に金融機関での導入事例を中心に議論が行われた。
菊永氏より、金融機関でのAIセミナーや導入支援の経験が共有され、組織内でのAI活用における
課題として、セキュリティ面の懸念や社内ルール作りの重要性が指摘された。
また、ChatGPTやClaude等の具体的なAIツールの活用方法や、組織内での展開方法について質疑応答が
行われた。特に注目すべき点として、AIの段階的な導入アプローチや、プロンプトテンプレートの
共有による組織的な活用方法が提案された。最後に、AI導入による業務効率化だけでなく、
組織変革の必要性についても言及があった。

締め

今回は、Anthropic社の新モデル「Claude Haiku3.5」を中心に、既存のAIモデルであるHaiku3、Opus、Sonnet3.5と性能比較を行った結果をシェアしてみました。API経由で「claude-3-5-haiku-20241022」を試用しましたが、その性能は驚きでした。特に処理速度は約8.9秒と高速で、議事録作成の際、UTCをJSTに自動変換したり、参加者数を正確に判別するなど、細部に至るまで進化が感じられましたね。

一方、旧モデルのHaiku3も依然として安定した性能を維持しており、処理速度は約9.1秒と僅差。コストパフォーマンスを考えると、まだまだ活躍の余地があります。ただ、Opusは正直厳しい評価となりました。処理速度は26秒と遅く、生成内容もHaiku系と大差がなく、事実上引退が近いのではと感じています。

そして、Sonnet3.5は流石に別格でした。処理速度こそ10秒程度と若干遅いものの、会議内容の把握力が圧倒的で、会議名や参加者の役割まで正確に理解。洞察力が素晴らしい。

結論として、Haiku3.5とSonnet3.5は優れた選択肢です。それぞれの特徴を踏まえ、適材適所で活用するのがベストでしょう。
今後も引き続き、最新技術を「創業の地：鹿児島」から探求していきます！