以下で発表したものについて発表内容をまとめます。
背景：動機
- 私はポケモンのランキングサイトを作っています
- ポケモンランクバトルでは、いい成績を出したパーティの内容を個人ブログにして解説する文化があります(大体5000字〜10000文字の内容であることが多いです)
- 順位とURLを並べるだけのまとめサイト運営していましたが、作成したサイトは、5年で234万回も見られ、一定の需要があることがわかります
実装しなければならないもの
※実際の個人ブログのスクリーンショットについては、作者様から許可を得ていないので黒く塗ります。見たい方はこちらから探してみてください。
- 大体5000字〜10000文字のブログから120項目の構造化データを抽出する必要があります
- 絵文字感覚て、画像が貼られておりテキストでは読み取れないこともあります
完成品
- 完成品です
- LLMでの記事解析とWebアプリは実用レベルになりました
- 30名の登録者がありました
苦労したポイント
- 苦労したポイントは3点
AI分析の精度向上
- 1つ目は分析精度の向上
- いろいろためしました（技術等は細かい文字で書いているので気になる人は参照ください）
- 精度100%は無理なので、ユーザーによるレビューが必要だという結論になりました
ユーザーフローの設計の見直し、改修
- 元々はサイトが自動で集める仕組みでした
- ここにユーザによるレビューを追加しました
- でも、「登録しといたんでサイトのデータ修正してよ」とユーザーにお願いしても修正してくれるとは思えません
- そこでURLの登録をユーザーからの登録制にしました
- 自動で収集することでの運用上のメリットを捨ててあえてユーザーが登録する形にしました
- ここで課題として、ユーザーは登録する動機がないという壁に当たりました
設計を叶えるためのユーザー誘導
- 当初予定になかった、ユーザーページを作成しました
- ユーザーが”自慢したい”ページを作り、記事を登録したい動機を作りました
- ただ、未レビューマークがつくことで、自慢するためにレビューする動機をつくりました
リリースへ
- その結果
- 来訪者の10%がGoogle認証で登録
- 記事は36記事（資料作成時、発表時点は57記事）
- レビュー率は66%
- 66%は、全く見ず知らずのユーザーによる、LLM出力に対するレビュー率なので感覚的に高いと感じています
高いレビュー率に繋がったのはなぜか
- 分析してみると"所有感"が大事なのではないかという感想になった
学び
- タイトルについて、私たちがLLMに質問を投げかけたとき、その回答は誰のものだろうか
- おそらく、「AI」が出したもので”所有感”は感じていないと思います
- もし、ユーザーにAIの出した答えをレビューさせたいなら"所有感"を設計することが大事になると思いました
リンク
このサイトについていくつか記事を書いています。