はじめに

Azure OpenAI Service は GPT-3.5 Turbo や GPT-4 を利用できるサービスです。Azure OpenAI Service が提供する Azure OpenAI Studio を使用すれば、OpenAI の ChatGPT と同じような対話型生成AIサービスを簡単に構築できます。さらに Azure Congnitive Search と連携して、RAG (Retrival-Augmented Generation) という方法を使って、外部の知識ベースから事実を検索し、最新かつ正確な情報をもとに大規模な言語モデル（LLM）を使って回答を生成することも可能です。

外部の知識データベースを使うことで望んだ回答が得られるかどうかを事前にテストしたい場合、Azure OpenAI Service と Cognitive Search の環境を構築しなくても、Webサイトと Bing Chat を用いれば簡単に質疑応答のチェックができます。

本実験では実際に大学が提供している学生便覧を用いてどのような回答が得られるかをチェックしました。

学生便覧とは

学生便覧とは、大学に入学した学生が必要とする情報をまとめた冊子です。例えば、以下のような内容が含まれています。

大学の教育方針やカリキュラム
学部や学科の履修規程や卒業要件
学生生活の支援制度や相談窓口
大学の諸規則や施設の利用方法
国際交流や就職支援の機会

学生便覧は、入学時に配布されることが多いですが、大学のホームページにも掲載されていることがあります。本実験では 山梨大学がWeb上に公開している2023年度学生便覧 を使用します。

準備

Edge ブラウザで学生便覧のURLにアクセスします。
画面右上の(b)のアイコンをクリックし、Bing Chat のサイドバーを開きます。
会話のスタイルは、[より厳格に] を選択します。

実験

まず、各学部の全学履修科目の必須単位がいくつ必要なのかを聞いてみます。

機会学科の全学必須科目の詳細を聞いてみます。

全学必須科目の語学教育科目部門について聞いてみます。

インターンシップ制度のついて聞いてみます。

学生便覧には記載されていないことを聞いてみます。

ちゃんと記載されてことを返答しています。また、「休学の方法は、山梨大学学則に定められていると思われますので、そちらを参照してください。」といったように、別の解決策を提示しています。

まとめ

実験の結果から、学習便覧のような文章があれば、その内容を元にQ&AできるAIチャットボットを作れる可能性があることがわかりました。Bing Chat を使ってこのように事前チェックすることで、Azure OpenAI Serivce を使った AI Chatbot が有効であるかどうかの検証ができるはずです。