ブラウザ版ChatGPTは当然知らない
2023年3月に公表された令和5年地価公示による日本全国の地価の変動やその要因について、ChatGPTに聞いてみました。
が、当然ながらブラウザ版のChatGPTは事前学習データが2021年9月以前のため、2023年のニュースについて知識がありません。
LangChainとGPT-4を使ってQuestion Answering
そこで、LangChainを使って、令和5年地価公示の公表資料PDFをプロンプトに入れることで、日本全国の地価の上昇要因を分析できるか試してみました。
手元のドキュメントを参照したQ&A用のモデルということで、とりあえずRetrievalQAWithSourcesChainを使い、llmはChatOpenAI('gpt-4', temperature=0)としました。
（LangChainには同じような用途のモデルがいくつもあるようで、適切なモデル選択についてはこれから勉強したいです）
用意したモデルを使って、住宅地と商業地の違いについて質問したところ・・・
質問: 住宅地の地価の上昇と、商業地の地価の上昇で、異なる特徴は何ですか？
・・・次のような回答が返ってきました。（改行は編集してます）
回答:
住宅地の地価の上昇は、県外者の移住需要や再開発事業、生活利便性向上などにより
継続しており、高級分譲マンションやマンション用地の需要が高いことが特徴です。
一方、商業地の地価の上昇は、大型リゾートホテルや駅前再開発事業の進展、
観光客向けの店舗需要や事務所需要が堅調であることが特徴です。
一部日本語が変ですが、住宅地の地価上昇の要因としては、
- 県外からの移住需要
- 再開発事業による生活利便性向上への期待
- （高級分譲）マンション用地の高い需要
などが挙げられています。
一方、商業地の地価の上昇の背景としては、
- 大型リゾートホテルの開発
- 駅前再開発事業の進展
- 観光客向けの店舗需要
- 堅調な事務所需要
と、やや住宅地の要因と重複するものがありつつも、なんとなく違いが表れています。
情報ソースを確認して回答内容の納得感を高める
また、回答にあたってモデルが重視したsource_documentsも一緒に返ってくるので、回答内容のラフなチェックもできます。
（実際に使う場合は、参照したドキュメントを検索しにいくべきでしょうが…）
例えば、住宅地の上昇要因に挙げられていた各項目は、以下のような原文があるようです。（太字は編集してます）
県外者の移住需要等により、地価の上昇が継続している。
東京湾アクアラインを利用した都心へのアクセスが良好であることや再開発事業の進展による生活利便性向上への期待感から、住宅需要が旺盛となり、地価は高い上昇を見せている。
住宅需要は引き続き堅調で、高級分譲マンションが供給される優良住宅地域のマンション用地需要は高く、地価の上昇が継続している。
住宅地については、再開発や道路インフラ整備等により生活利便性が向上している地域や、大型商業施設等へのアクセスに優れ居住環境が良好な郊外部において、地価の上昇が顕著となっている。また、中心部では、マンション用地の需要が旺盛となっており、その需要は周辺に波及している。
もちろん、商業地についても以下のような記載が原文のどこにあるか分かるので、内容の詳細をチェックするにも便利です。
商業地については、大型リゾートホテル等の開発進展により、観光客向けの店舗需要が堅調であることから、地価の上昇が継続している。
xx市では、yy市からの住宅需要の広がりや相対的な割安感に加え、北海道ボールパークFビレッジ事業への期待もあり、住宅地の地価が高い上昇を見せるとともに、商業地についても、駅前再開発事業が進展していることから収益性の向上が期待されるとともに、住宅需要との競合もあり、地価は高い上昇を見せている。
商業地については、世界最大手半導体メーカーのzz町への進出に伴い、事務所需要が急激に増加しているとともに、住宅需要との競合もあり、地価は高い上昇を見せている。
ちなみに、住宅地と商業地の双方に現れた「再開発事業」のワードについては、北海道ボールパークFビレッジが具体的な事例として抽出されていますが、たしかに商業用途としても住宅用途としても需要が拡大して、地価が上昇しているエリアなのでしょう。
今回は詳細な原文の内容は確認していませんが、情報ソースを簡単にチェックした感じでは、回答内容の納得感もそれなりにありそうです。
Bingチャットにも聞いてみた
2021年9月までの情報がベースになっているChatGPTに比べ、Web検索を使って最新の情報も反映できるというBingチャットにも同様の質問をしてみましたが、、、
、、、たんに令和5年地価公示の概要について国土交通省の公表文から抜粋されたような文章が返ってきただけで、肝心の「住宅地と商業地の違い」についてはゼロ回答でした。
いまのところは、Bingチャットに聞くよりも、QAモデルや参照ドキュメント、プロンプトを工夫してChatGPT-APIを使う方が、最新の経済データに関する考察を手っ取り早く行うのに適していそうです。
ChatPDFにも聞いてみた
PDFドキュメントの内容に関するQAツールとしてはChatPDFというフリーのWebアプリもあるため、同じPDFを読み込ませて同じ質問をしてみました、、、
、、、がこちらも質問に対する直接の回答はありませんでした。
無料版だから回答内容が異なったのかも
ChatGPT APIを使ったQAツールという点で今回用意したモデルと概ね変わらず、ほぼ同じ回答が返ってくるかと期待していたのですが、ゼロ回答だったのには次のような理由があるのかなと思いました。
- 無料版を使ったため
- 無料版はGPT 3.5のようであり、一方今回のモデルはGPT 4で試したため、その差が大きく影響した可能性が高いです。有料版のChatPDF Plusを使えば結果は違ったかもしれません。
- 複数のPDFファイルのうち1ファイルのみを読み込ませたため
- 今回のモデルで参照した複数のPDFファイルのうち、1ファイルのみを使ったQAを繰り返したのですが、情報が断片的になった可能性もあり、全部を1つのPDFに統合して読み込ませるといった改善策があるかもしれません。