カイテク株式会社でエンジニアをしている岩本です。年末からChatGPTがずいぶんとホットな話題ですね。先日Publickeyでも紹介されたとおり、CustomGPT.aiがリリースされたので、自社のヘルプページを学習させ、サイトにチャットボットとして組み込めるかを検証しました。ChatGPTは賢いので結構期待。
カスタムモデルを作成する
CustomGPT.aiを使用してカスタムモデルを作成する手順は簡単で以下の通りです。
- CustomGPT.aiのWebサイトにアクセスする。
- 「Create Project」を選択する。
- サイトマップのURLとPJ名を入力する。
- サイトがインデックスされるのを待つ。
上記でカスタムモデルの作成が完了するはずなのですが、100ページを超えるページのクローリングは完了しているものの、インデックスされていない状態が続きました。CustomGPT.aiに問い合わせたところ、問題を解決してくれて数時間でインデックスに登録されはじめました。
しかし、106ページ中24ページしかインデックスされません。こちらも運営には報告済みですが、調査中のまま1週間以上経ってしまっています。
実際に質問を投げてみた
このままではまともに使えなそうではあるのですが、せっかくなので実際にindexされたページの内容について質問をしてみました
また、Publickeyでも指摘されているように、未学習の内容もそれっぽく返答するため注意が必要です。
| 質問 | CustomGPT.aiの回答 | 期待通りか |
|---|---|---|
| 専用のアプリはありますか？ | はい、iPhoneとAndroidの両方のプラットフォーム用の専用アプリがあります。各ストアで「カイテク」とご検索いただくか、下記リンク先のページよりダウンロードしてください。 | 内容:○ 表現:○ 参考リンク |
| 介護資格をもっていないのですがカイテクを使えますか？ | 介護/医療有資格者の方のみ、お仕事へのご応募が可能です。無資格者の方はお仕事への応募はできませんが、アカウント登録のみは可能です。 | 内容:○ 表現:○ 参考リンク |
| アカウントの共有はしていいですか？ | 友人や家族とアカウントを共有して使ってもよいですか？ ご本人様以外とアカウントを共有することや、ご本人様以外の情報を登録することは利用規約に抵触するため、運営事務局が発見次第、アカウントの利用停止措置を行います。 | 内容:○ 表現:X 参考リンク |
| 事業所を評価するときは匿名ですか？ | 事業所を評価するときは、ワーカー様の名前は公開されますが、匿名で評価することはできません。誹謗中傷にあたる単語や、言葉遣いで記載しないようお願いいたします。 | 内容:○ 表現:X 参考リンク |
| 給与の引き出し方法は？ | 給与の引き出し方法は、当月締め翌月末日に自動的に行われます。 | 内容:X 早期引き出しについての言及がない 表現:○ 参考リンク |
| 忘れ物をしてしまったのですがどうしたらいいですか？ | 事業所様にご連絡いただき、忘れ物の受け取り方法をご相談ください。忘れ物をしてしまった場合は、事業所様への連絡方法をご参照ください。忘れ物の受け取り方法をご相談し、受け取り方法を決めてください。 | 内容:○ 表現:X 参考リンク |
| キャンセルしたいのですが、事業所に電話が繋がりません。どうしたらよいですか？ | 運営事務局へお問い合わせフォームよりご連絡ください。また、緊急の場合は勤務先の事業所様へお電話にてご連絡ください。 | 内容:○ 表現:X 参考リンク |
| 登録料や会費かかるんでしょ？ | 登録料や会費はかかりません。無料でご利用いただけます。 | 内容:○ 表現:○ 参考リンク |
| 近くの仕事がないんだけどどういうこと？ | 近くの仕事がない場合は、現在提供しているサービスの地域を確認してください。関東圏(東京都、神奈川県、埼玉県、千葉県)、愛知県、大阪府付近でサービスを提供しています。今後、主要都市から徐々に全国展開を進めて参りますので、今後も仕事が増える可能性があります。 | 内容:○ 表現:○ 参考リンク |
| 申込みできない仕事があるんだけどなんで？ | 申し込みできない仕事は、資格条件や申し込み条件を満たしていない場合に該当します。仕事詳細ページを確認して、必要な条件を満たしているかどうかを確認してください。 | 内容:○ 表現:○ 参考リンク |
| 事業所にメッセージを送ったんだけど返ってこない。どうしたらよい？ | 24時間以上経過しても返信がない場合は、運営事務局へお問い合わせフォームよりご連絡ください。また、緊急の場合は勤務先の事業所様へお電話にてご連絡ください。 | 内容:○ 表現:○ 参考リンク |
| 勤務時に怪我をした。労災は降りる？ | 勤務中に怪我をした場合は、労災保険が適応される可能性があります。事業所様へご相談ください。労災保険等の手続きは雇用主である事業所様と直接ご調整ください。 | 内容:○ 表現:○ 参考リンク |
| 事業所様への評価方法を教えて | 事業所様への評価方法は、アプリにログインして、下部メニューの「仕事管理」ページをタップし、「未評価」タブを選択し、評価を行いたい案件をタップし、案件概要ページの「評価する」をタップして評価を実施することです。 | 内容:○ 表現:○ 参考リンク |
| 給与が残ってるんだけど、退会できる？ | はい、退会することができます。退会時にウォレットに残っている給与は、通常振込にてお支払いいたします。 | 内容:○ 表現:○ 参考リンク |
| ポイント交換の商品はどれくらいで届く？ | ポイント交換の商品は、ご申請日から3営業日以内にお送りいたします。 | 内容:○ 表現:○ 参考リンク |
| ポイントでAmazonギフト券を選んだらどれくらいで届く？ | Amazonギフトカードをポイントで交換した場合、ご申請日から3営業日以内にお送りいたします。 | 内容:○ 表現:○ 参考リンク |
| ポイントを現金交換したらどれくらいで振り込まれる？ | ポイントを現金交換した場合、ご申請日から3営業日以内にお支払いいたします。 | 内容:○ 表現:○ 参考リンク |
| 実務経験証明書はもらえるの？ | いいえ、実務経験証明書の発行は対応しておりません。 | 内容:○ 表現:○ 参考リンク |
| キャンペーンはありますか？ | Yes, there is a campaign. Please refer to the context for more information about the campaign. | 内容:X 表現:X 参考リンク |
| キャンペーン内容を教えて | キャンペーン期間内に、カイテクを利用して仕事を探し、応募した場合にポイントがプレゼントされます。キャンペーン期間内に直前キャンセル・遅刻・勤務態度不良・アカウント停止が確認された場合には、適用対象外となる可能性がございます。本キャンペーンの注意事項に違反していると弊社が判断した場合に限り、アカウントの停止、ポイント付与の取り消し等の必要な措置を取ることができます。 | 内容:○ 表現:○ 参考リンク |
| キャンペーンの期間は？ | The duration of the campaign is not specified in the context. | 内容:X 表現:X 参考リンク |
| 事業所でコロナが発生したようです。キャンセルしたら信用スコアは減点されますか？ | 事業所でコロナが発生した場合、信用スコアの減点はありません。事業所様からのキャンセルを受けた場合、信用スコアに影響を及ぼすことはありません。 | 内容:○ 表現:○ 参考リンク |
| コロナにかかってしまいました。当日キャンセルは減点対象ですか？ | コロナにかかってしまった場合は、事業所様への電話連絡を行って、キャンセルを申請してください。キャンペーン期間内に直前キャンセルが確認された場合は、適用対象外となる可能性がありますので、減点の対象となる可能性があります。 | 内容:X 表現:○ 参考リンク |
| 発熱しているが勤務してよいか？ | 発熱している場合は、仕事詳細ページに記載されている労働条件をご確認ください。また、事業所様からのメッセージをご確認の上、勤務を行うことができるかどうかをご確認ください。 | 内容:○ 表現:○ 参考リンク |
| 想定している給与と異なるけどなんで？ | 想定している給与と異なる場合は、源泉徴収が発生している可能性があります。源泉徴収額の計算に関しては、国税庁のページにある「給与所得の源泉徴収税額表（日額表）」をご参照ください。また、源泉徴収額等の給与明細の確認方法は、こちらのFAQをご参照ください。 | 内容:○ 表現:○ 参考リンク |
学習した内容であれば、フリーテキストで質問してもそれなりの回答をしてくれるようになりました。ただし、一部正しくない回答や、未学習の質問についても適当に返答してしまいます。現状では、これをサービスに組み込むことは難しいように感じます。
一部の誤った回答に対する考察
CustomGPT.aiはsitemap.xmlを指定することでHTMLをパースして学習しています。学習データとしてはきれいなデータではないため、正しく学習できていない可能性が高いです。OpenAIには学習したモデルを作るAPIがあるので、そちらを使って学習させれば学習データをきれいな状態で入力できるのでもっと精度があがるのかなと思いました。LlamaIndexを試した感じはそんなに難しくもないしCustomGPT.aiも内部ではこれを使っているのかなというイメージです。
まとめ
CustomGPT.aiを使用して自社のヘルプページを代替することができるかを検証しました。下記の点から本番環境に組み込むことは難しいと判断しました。
- ページの内容がindexされない不具合がある
- 誤った回答がされる（学習データがきれいではないため？）
- 未学習の内容を答えてしまう
主にヘルプページを読ませたときにどれくらいの精度で返ってくるかの紹介がメインになってしまいましたが、参考になれば幸いです。
カイテクでは自走できるフルスタックエンジニアを募集しているので、興味のある方は是非ご連絡ください！
https://caitech.notion.site/a6cf432ea9524d16a3228e8a394db2df?p=5675ed42303b43d3a35abe8be5fcee42&pm=c