minulo(リールやショートを消す iPhone アプリ)が Perplexity・Gemini・Copilot・Brave に引用されるかを、同じ問いを言語別に投げて測りました。(この記事は minulo を1人で作っている北林が書いています)
App Store Connect の「参照元アプリ」を見ると、minulo を入れる人の入り口に ChatGPT がはっきり出ています。10月20日に見た30日分では、ChatGPT が193件でした。一方で、Perplexity・Gemini・Claude のアプリからは0件です。
ChatGPT 以外の AI にも名前を出してもらうには、まず「今どこで出ていて、どこで出ていないか」を知る必要があります。そこで、同じ趣旨の問いを AI ごと・言語ごとに投げて、答えの何番目に出るか、出典に何が入るかを記録しました。この記事はその手順と、10月24日までに分かったことのまとめです。
数字はすべて自分のメモ(10月17日〜24日)からで、どれも1回ずつの観測です。
測り方
問いを1つに決める
アプリの機能をそのまま言う問いにしました。英語ではこうです。
best free iPhone app to hide Instagram Reels and YouTube Shorts but keep DMs
日本語と韓国語はこう聞きました。
インスタのリールだけ消してDMは使えるiPhoneアプリは?
인스타 릴스만 차단하고 DM은 쓸 수 있는 아이폰 앱
スペイン語・ポルトガル語・ドイツ語・フランス語も、同じ趣旨をその言語で聞いています。訳すときは、その言語で人が検索しそうな言い方にしました。
記録する項目
1問ごとに、表に1行です。
| 項目 | 例 |
|---|---|
| 日時・AI・言語 | 10/24 13:15 Perplexity 西 |
| 問い | 上の文 |
| 何番目に出たか | 1位/4番目/なし |
| 出典 | github.com・自社サイト・App Store など |
| 1位のアプリと、その出典 |
「何番目か」より「出典」のほうが大事でした。次に何を直せばいいかは、出典を見ないと分からないからです。
気をつけたこと
- 1問ごとに新しい会話で聞く。
- 答えは2〜5本と短く、毎回入れ替わります。1回の結果で判断しない。
- 日本から聞くと、日本の App Store を引くことがあります。英語圏の人が見る答えと同じとは限りません。
- Perplexity の測定の多くは、自分のアカウントにログインしたままです。前に同じ系統の問いを検索した履歴があるので、その影響を受けている可能性があります。ログインなしの測り直しは、まだできていません。
- Copilot はサインインが要るので、答えそのものは測れていません。代わりに Bing Webmaster の「AI Performance」(Copilot と提携先での引用数)を見ています。
検索エンジン側で測るときのつまずき
AI の答えと合わせて、その AI が使っている検索の結果も見ました。ここでいくつかつまずいています。
- Brave の検索は、10月17日に5問を続けて引いたあと、6問目で 429 が返り、別の日は1問目で CAPTCHA が出ました。今は1日2〜3問まで、間をあけて引いています。CAPTCHA は解かずに止めます。
- Bing も、続けて検索すると CAPTCHA が出ます。curl で取った Bing の結果はロボット向けのもので、順位の当てにならないと分かったので、自動で順位を取るスクリプトは使うのをやめました。
- Bing で
site:minulo.appと引くと「結果なし」と出ますが、"minulo.app"で引くと載っているページが見えます。site:の表示は、Google でも不完全でした。索引に入ったかどうかは、各社の Webmaster ツールの URL 検査で1本ずつ確かめるほうが確かです。
結果
10月19日:英語で4つの AI
最初は英語の問い1つで、4つの AI を比べました。
| AI | minulo | 出典 |
|---|---|---|
| ChatGPT(一時チャット) | 5本中4番目 | minulo.app・App Store |
| Perplexity | 1位 | GitHub の README・App Store |
| Claude(Brave) | 出ない | 他のアプリの自社サイト・App Store・GitHub |
| Gemini(Google) | 出ない | 他のアプリの自社サイトの記事・App Store |
Perplexity が GitHub の README を出典にしていたのが意外でした。サイト本体より先に、GitHub に置いた README が引かれていたわけです。
10月24日:言語を広げる
10月24日の昼に、言語を広げて測り直しました。
| AI | 言語 | minulo | 出典 |
|---|---|---|---|
| Perplexity | 英 | 1位 | GitHub の一覧(awesome list)など |
| Perplexity | 日 | 1位 | GitHub |
| Perplexity | 韓 | 4番目 | GitHub だけ。minulo.app の韓国語ページは引かれていない |
| Perplexity | 西・葡・独・仏 | 4言語とも出ない | 他のアプリの自社サイトなど |
| Brave の AI 回答 | 英 | 3番目 | 自然検索で minulo.app/en/free-reels-blocker が2位 |
| Gemini | 英 | 出ない | 他のアプリの自社サイト |
Perplexity の英語は、前日10月23日に同じ系統の「無料」の問いで3番目だったのが1位になっていました。Brave の自然検索で2位に出たページは、10月17日の時点では圏外でした。
Gemini は英語では出ませんでしたが、10月23日に日本語の問いでは3番目に出ています。このとき minulo を「ミニロ」と読んでいたので、読み方「ミヌロ」をサイトの構造化データ(alternateName)と llms.txt に書き足しました。
Copilot は、Bing Webmaster の AI Performance で10月1日〜19日の引用が0件でした。Bing の索引そのものが薄く、10月23日の時点でインデックス済みの URL は3件、参照ドメインは1件です。
分かったこと
1. 英語と日本語では出る。西葡独仏では出ない
同じ趣旨の問いでも、言語が変わるだけで結果がまるで違いました。Perplexity では英日で1位、韓で4番目、西葡独仏の4言語では名前が出ません。
測った時点でも、サイトには西葡独仏それぞれ40枚以上のページがありました。それでも出ないので、「その言語のページがある」だけでは足りないと考えています。
2. 出典はサイト本体より GitHub
Perplexity の出典は、英日韓とも GitHub でした。韓国語の問いでも、引かれたのは GitHub だけで、minulo.app の韓国語ページではありません。
GitHub には、iPhone でリール・ショートを消すアプリと設定の一覧(README と CSV、作者が minulo の開発者だと明記)を置いています。出典つきの表は、AI が引きやすい形なのだと思います。
3. 出ていない言語では、表つきの記事が引かれている
西葡独仏で上に出ていたのは、他のアプリの自社サイトにある how-to や比較の記事でした。その言語で書かれていて、表があり、問いの言葉(無料・DM が残る、など)が題に入っています。
ここから立てた仮説はこうです。
Perplexity は「同じ言語で、表つきの、第三者っぽいページ」を引く。英日で出たのは、英語の GitHub の一覧と日本語の記事群があったから。ほかの言語でも、同じ形をその言語で置けば答えに入る。
4. Copilot と Gemini は、索引に入るところから
Copilot が使う Bing、Gemini が使う Google のどちらでも、minulo.app はまだ上位にいません。AI の答えの前に、検索の索引と順位の問題です。
やったこと
仮説に合わせて、10月24日にこうしました。
- 表つきの比較記事を、韓国語・スペイン語・ポルトガル語・ドイツ語・フランス語で、各言語の開発者向けの場所(velog・dev.to)に出した
- GitHub の一覧の README を6言語にした
- サイトには、英語にあって西葡独仏韓になかった88ページを足し、hreflang と sitemap を組み直した
まだ分からないこと
これが効いたかどうかは、まだ測っていません。10月31日に、10月24日と同じ問いを Perplexity・Brave・Gemini で投げ直し、何番目に出るか、出典に自分の記事が入るかを見る予定です。結果が出たら追記します。
まとめ
- 同じ趣旨の問いを、言語ごとに同じ形の表で記録する。
- 何番目に出たかより、出典に何が入ったかを見る。直す場所はそこで決まる。
- 英語で出ていても、ほかの言語で出ているとは限らない。
- ログインの有無・聞く国・答えの揺れで結果は変わる。1回で決めない。
minulo は私が作っているアプリです。サイトはこちらです。
https://minulo.app/?ref=qiita-ja-aicite-1025