はじめに
国家資格試験の学習サービス「KOKUSHIRU」で、2日間で約1000人が新規登録する出来事がありました。
| 日付 | 新規登録数 | 備考 |
|---|---|---|
| 2/15 | 14 | 通常 |
| 2/16 | 19 | 通常 |
| 2/17 | 22 | 通常 |
| 2/18 | 35 | 国試当日 |
| 2/19 | 723 | 🔥 |
| 2/20 | 237 | 🔥 |
| 2/21 | 22 | 収束 |
通常の約50倍のスパイクです。
この急増の原因は「解答速報機能」でした。
最終的に、1469人がこの機能を利用して回答を入力してくれました。診療放射線技師の国家試験の受験者数は約3000~4000人なので、受験者の約半数がこのサービスを利用したことになります🙌
本記事では、技術的な仕組みとグロースの要因を振り返ります。
KOKUSHIRUとは
KOKUSHIRU(国試+知る)は、医療系国家資格試験の学習プラットフォームです。
開発のきっかけ
双子の弟が診療放射線技師をしています。
弟から「学生時代にこういうアプリが欲しかった」という話を聞いたのが開発のきっかけでした。
国家試験の勉強は過去問が中心ですが、当時は使いやすいアプリがなく、紙の問題集で勉強していたそうです。
「それなら作ろう」と思い、開発しました。
(解答速報も大学の先生方が作成する解答も配布が早くても翌日以降になるので、ざっくりでも解答や他の人の回答などがすぐわかる機能が欲しいということでした)
主な機能
- 過去問の一問一答
- 模擬試験
- 学習進捗の可視化
- 解答速報(今回バズった機能)
解答速報機能とは
国家試験の直後、受験者が最も気になるのは「自分の回答が正解かどうか」です。
しかし、大学や予備校が作成する解答速報は、試験翌日以降になることが多いです。
そこで受験者全員の回答を集約し、多数決で推定正解を算出する機能を作りました。
ユーザーフロー
- 試験後、自分の回答(選択肢1-5)を入力
- 全ユーザーの回答が集計される
- 多数決による推定正解と自己採点結果が即座に表示される
この機能の特徴
単に「推定正解」を表示するだけでなく、問題ごとの選択肢の選択率を可視化しています。
例えば:
- 「この問題は90%のユーザーが選択肢3を選んでいる」→ 信頼度が高い
- 「この問題は選択肢1と2が拮抗している」→ 議論の余地がある
受験者が最も知りたいのは「自分の回答が正解かどうか」ですが、
それと同時に「他の人はどう回答したのか」「この問題は難しかったのか」も気になります。
この選択率の可視化が、ユーザーにとって大きな価値になりました。
技術的な仕組み
推定正解アルゴリズム
重み付き多数決で推定正解を算出しています。
最も多く選ばれた選択肢を推定正解とするシンプルな仕組みですが、
得点による重み付けを行うことで精度を高めています。
| 得点率 | 重み | 備考 |
|---|---|---|
| 80%以上 | 1.4倍 | 高得点者 |
| 70〜80% | 1.2倍 | 安定合格圏 |
| 60〜70% | 1.0倍 | 合格ライン(基準) |
| 50〜60% | 0.8倍 | 合格ライン付近 |
つまり、正答率の高いユーザーの回答をより重視して集計しています。
回答精度を保つための工夫
集合知の弱点は、不正確なデータが混ざると精度が下がることです。
例えば、すべての問題で選択肢1だけを選択するようなユーザーがいると、推定正解の精度が落ちてしまいます。
そこで、まず最初に単純多数決で100問正解未満(50%未満)のユーザーは集計対象から除外しています。さらに上記の重み付けにより、高得点者の回答をより重視して推定正解を算出しています。
問題ごとの回答精度と信頼度の可視化
各問題について、選択肢ごとの選択率と推定正解の信頼度を可視化しています。
これが本サービスの最も重要な機能です。
推定正解と他の選択肢の選択率の差から、信頼度を3段階で表示しています。
| 選択率の差 | 信頼度 | 表示 |
|---|---|---|
| 5% 以上 | 高 | 緑 |
| 2〜5% | 中 | 黄 |
| 2% 未満 | 低 | 赤 |
この可視化により、公式発表前でも「確度の高い問題」と「議論の余地がある問題」を
区別できるようになっています。
パフォーマンス最適化
リアルタイムで全回答を集計すると負荷が高いため、30分ごとのバッチ処理で統計データを事前計算しています。
(GitHub Actionsのセルフホステッドランナーを使用し、コスト削減をしています)
# GitHub Actions (cron)
schedule:
- cron: "*/30 * * * *" # 30分おきに実行
jobs:
update-scoring-statistics:
runs-on:
group: self-arc # セルフホステッドランナー
これにより、数百人が同時アクセスしてもレスポンスタイムを維持できる設計になっています。
モバイルファーストなUI
試験直後のユーザーはスマートフォンからアクセスすることが多いため、モバイルでの入力体験を最優先で設計しました。(それでも、入力には根気があるいる作業ではあります)
なぜバズったのか
1. タイミング
国家試験当日〜翌日が最も「正解を知りたい」需要が高い。このピーク需要に合わせて機能をリリースしました。
2. 集合知への興味
「他の人はどう回答したか」を知りたい心理。
正解そのものだけでなく、他者の回答分布が見えることが価値になりました。
3. 即座に結果が見える
回答を入力したらすぐに推定正解と自己採点結果が表示される。この即時性がユーザー体験として優れていました。(ありがとうございます🙏)
4. 口コミでの拡散
受験者同士のコミュニティで急速に広がったみたいです。Xなどにも回答入力を促すポストがありました。
学び
1. ピーク需要を捉える機能設計
通常時には使われない機能でも、特定のタイミングで爆発的に使われるものがあります。
年1回の国家試験に向けて機能を準備し、その瞬間に価値を届けられたことが大きかったです。
2. 口コミは最強のマーケティング
「これ使える」と思ってもらえる機能を作れば、自然と口コミが広がる。
マーケティング費用をかけずとも、受験者同士のコミュニティで拡散され、2日間で約1000人の登録に繋がりました。
3. データ品質管理の仕組み化
最初はすべての回答を集計に含めていたため、推定精度がかなり悪くなりました。
集合知は不正確なデータが混ざると精度が下がるという弱点があります。
全て同じ選択肢をマークするなど、適当な入力をするユーザーも一定数います。システム側で品質を担保する仕組みが重要でした。
また、30分ごとにスコアが更新される仕組みなので、推定正解が変わるたびに自分のスコアも変動します。適当な入力だと解答速報と自分のスコアの比較を毎回手動でする必要があり、正確な入力を促す仕組みにもなったのも、結果的に良かったです。
おわりに
最後に、国家試験を受験された学生の皆さん、本当にお疲れ様でした!!
そして、コクシルを利用している皆さん、ありがとうございました🙇
今後もユーザーの声を聞きながら、継続的に機能改善を行っていきます。
一緒に働く仲間を募集しています
株式会社RAYVENでは、AIサービスの開発を通じて大阪からグローバルへ展開することを目指しています。
技術で新しい価値を創り出すプロダクトを開発中です。
「新しい技術を試したい」「ワクワクするものを作りたい」という方、ぜひ一度お話ししませんか?
👉 採用情報: https://rayven.cloud/jobs
「まずは話を聞いてみたい」という方も大歓迎です!
