0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIの回答に自社名が出るか、30セルで測る手順(記録表とPython集計つき)

0
Posted at

「ChatGPTで自社名を聞いたら、ちゃんと出てきますか?」と聞かれることがあります。1回聞いて出なかったから「出ない」、1回出たから「大丈夫」と決めるのは早すぎます。AIの回答は聞くたびに変わり、AIごとにも違うからです。

この記事では、質問の型を5つ、AIを6つ決めて、30マス(以下「30セル」)の表を埋めていく測り方を紹介します。記録のルールと集計用のPythonも付けました。分かるのは「その日、その質問で、そのAIがどう答えたか」だけで、出るようにする方法や、出る保証の話ではありません。

私は合同会社 My Agent Works(東京都小平市)の者で、AI検索の診断サービス「MAR(My Agent Research)」を提供しています。ここで書く測り方はMARの標準と同じ考え方で、自社でも再現できるように書きました。

30セルとは

「6つのAI × 5つの質問 = 30マス」の表です。1つのAIに1つの質問をした回答が1セルです。MARの料金ページ(ページ記載の最終更新2026-10-08、取得2026-10-10)には、標準が次のように書かれています。

  • 6つのAIは ChatGPT・Google(AIによる概要)・Claude・Perplexity・Copilot・Grok
  • 5つの質問の型は、指名・一般語・比較・ニッチ・課題起点
  • 質問文・日時・回答原文・引用元・取得方法を記録する
  • 回答が取れなかったセルは「未測定」とし、取れた回答だけを分母にする
  • 30セルは、全ユーザーの結果を統計的に代表するものではない

最後が大事です。30セルは定点観測のものさしで、世の中全体の調査ではありません。

質問の例

型の名前はMARのページのとおりです。質問文は私が作った例で、〇〇は自社名や地域に替えてください。

型 質問の例
指名 〇〇不動産はどんな会社ですか
一般語 〇〇市で売買の仲介を頼める不動産会社を教えてください
比較 〇〇市の不動産会社を比べたいです。〇〇不動産は候補になりますか
ニッチ 〇〇市で相続前の不動産相談ができる会社はありますか
課題起点 実家の売却を考えています。どこに相談すればよいですか

お客様の氏名・連絡先や、公開前の物件情報は質問に入れないでください。

手順

  1. 質問5つの文面を固定します(次回も同じ文面で聞くため)。
  2. 6つのAIに、手で入力します。各サービスの利用規約の範囲で行ってください。
  3. 1セルごとに、日時・AI名・質問・回答を保存します。
  4. 社名が出たかを付けます。○は社名が出て情報も合っている、△は出るが情報が違う、または一部だけ、×は出ない、取れなかったら「未測定」です。この○△×の線引きは、MARのページにはない私の整理です。毎回同じ基準を使ってください。
  5. 日や時間をあけて、同じ条件でもう一度やります。

CSVは engine,qtype,mark の3列にします(実運用では質問文と日時の列も足してください)。

import csv, sys
from collections import Counter

rows = list(csv.DictReader(open(sys.argv[1], encoding="utf-8")))
cnt = Counter(r["mark"] for r in rows)
measured = len(rows) - cnt["未測定"]
hit = cnt["○"] + cnt["△"]
print(f"測れた回答 {measured} / 未測定 {cnt['未測定']}")
print(f"○ {cnt['○']}  △ {cnt['△']}  × {cnt['×']}")
if measured:
    print(f"社名が出た割合 {hit}/{measured} = {hit/measured:.0%}")

動作確認として、私が作った8行の架空データで実行した出力です(2026-10-10、手元の結果をそのまま貼っています。実測ではありません)。

測れた回答 7 / 未測定 1
○ 2  △ 2  × 3
社名が出た割合 4/7 = 57%

「未測定」を分母から外すのがポイントです。エラーを「出なかった」に数えると、AI側の不調を自社の弱さと読み違えます。

結果の読み方

  • 指名で出ないなら、社名や所在地が公式サイトと外の掲載で食い違っていないかを見ます。
  • 1回で決めません。回数の基準は、私が確認した公式資料にはありませんでした。
  • 出なかったときは、先にページが検索に登録されているかを見ます。Googleの資料(AI機能とウェブサイト、最終更新2025-12-31)は、AIによる概要に表示される条件にインデックス登録とスニペット表示を挙げ、満たしても表示は保証されないと説明しています。
  • 他社AIの回答原文は、規約の確認が済むまで公開しないほうが安全です。この記事にも載せていません。

自分でやるか、頼むか

表があれば自社でも作れます。時間が取れない、原因を切り分けられない場合は、外部に頼む選択肢もあります。MARの測り方はサービスガイドに、金額と作業範囲は料金ページにあります。料金ページには順位・AI引用・反響数を、サービスガイドにはAI検索での表示・引用を、それぞれ保証しないと明記されています。依頼先は、どの会社にも「測り方・記録項目・成果の定義」を同じ項目で確認してください。

出典(取得日 2026-10-10): MARの料金ページ・サービスガイド(上記URL、最終更新2026-10-08)、Google「AI 機能とウェブサイト」https://developers.google.com/search/docs/appearance/ai-features?hl=ja

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?