はじめに
AIの進化スピードを追うために、論文のチェックは必要という思いがありました。
Hugging Faceの「Daily Papers」は最新の論文が掲載されているので、ここを日々チェックしたかったのですが、なかなか毎日英語の論文を読み解くのは骨が折れ、着手できていませんでした。
そこで今回、GoogleのGemを活用して、最新論文の取得から技術的な概要の要約までを自動化する仕組みを構築しました。その過程で見えてきた「画像生成まで同時にやらせようとした時の失敗談」を含めて共有します。
ここではGoogleのGemがどういったものか、という解説は省略させて頂きます。
論文取得フローの比較
Gemを導入することによる、情報収集のプロセス変化です。
1. Gemini導入前（手動プロセス）
2. Gem導入後（自動化プロセス）
Gemの作成方法
設定項目
カスタム指示以外は特に設定なしです
カスタム指示
実際にGemに使用した、論文取得と要約のためのプロンプトです。
プロンプト
https://huggingface.co/papers にアクセスし、現在トップに表示されている（あるいは今日注目されている）論文を1つ選んでください。
その論文の内容を読み、以下の項目で出力してください。
タイトルとリンク: 論文名とURL
公開日:
概要: 何を解決するための研究か（3行以内）
技術的新規性: どこが新しいのか、既存手法との違い
ビジネス的なインパクト: どんなビジネスに活用でき、どう収益や効率に貢献するか
技術を試してみるアイデア: この技術を使って数日で作れそうなプロトタイプの案
回答は日本語でお願いします。
出力例
質問文①
本日の最新論文を調べて
回答結果①
回答結果
Hugging Faceの「Daily Papers」で現在注目を集めている論文の中から、特に技術的な進歩が著しく、ビジネス応用への期待が高い以下の論文を選定しました。
タイトルとリンク
タイトル: STEP3-VL-10B Technical Report
リンク: https://huggingface.co/papers/2501.12326 （arXiv: 2501.12326）
※本日のトレンド上位（2026年1月22日時点）
公開日
2026年1月21日（最新の技術レポート）
概要
GUI（グラフィカル・ユーザー・インターフェース）を操作する「AIエージェント」の性能を劇的に向上させるための研究です。人間が画面を見て操作するように、AIが直接ピクセル情報を読み取り、ブラウザやアプリを自律的に操作する際の精度と汎用性の問題を解決します。
技術的新規性
- ネイティブ・エージェント基盤: 従来のモデルのようにHTMLソースコードに頼るのではなく、スクリーンショット（画像）のみからボタンや入力欄を特定し、操作手順を生成する能力を強化しています。
- STEP3フレームワーク: 自己改善型の学習ループ（Reinforcement Learning from AI Feedbackなど）をGUI操作に適用し、10B（100億パラメータ）という比較的小型なサイズながら、巨大なモデルを凌駕するタスク成功率を実現しました。
- 高解像度への対応: 複雑なウェブページやデスクトップ画面の細かなパーツを見逃さないための、新しいビジョン・エンコーダーの最適化が行われています。
ビジネス的なインパクト
- 業務自動化（RPA 2.0）: 従来のRPAでは対応できなかった「画面レイアウトが少し変わると壊れる」という問題が解消され、あらゆるSaaSや社内システムをAIが人間同様に操作できるようになります。
- カスタマーサポートの自動化: ユーザーの代わりにAIがECサイトでの注文変更や、複雑な設定画面の操作を代行する「コンシェルジュ型サービス」が実現可能です。
- 効率化: プログラミング知識のない非エンジニアでも、自然言語で「〜のデータをスプレッドシートに転記して」と指示するだけで、AIがブラウザを開いて作業を完結させるため、ホワイトカラーの生産性が劇的に向上します。
技術を試してみるアイデア：プロトタイプ案
「全自動・出張旅費精算エージェント」
- 内容: 領収書のPDFを読み取り、社内の古い経費精算システム（APIがないもの）をブラウザで開き、AIが自らログインして、項目入力、金額入力、証憑アップロード、申請ボタンのクリックまでを完結させるツール。
- 開発期間: 数日（STEP3-VLのAPIまたはモデルを使い、ブラウザ操作用のPythonスクリプトと組み合わせることで、特定のシステムに特化したプロンプトを作成するだけで構築可能）。
質問文②
本論文の内容を図なども駆使して視覚的に理解を助ける1枚の画像にまとめて。言語は英語で。
回答結果②
失敗事例：画像生成まで一度にやろうとした結果
当初は解説画像も併せて出力させて論文のイメージ画像も同時に生成させようと考えました。
しかし、Gemのデフォルトツールで「画像を作成」を選択して、最後に内容をまとめた画像を生成させる様な指示をカスタム指示に加えたところ、最新の論文を参照してくれないという問題が起きました。
原因は不明ですが、Nanobananaを利用すると、Geminiの内部のモデルの知識ベースで回答する様な処理になっている？（あくまで憶測です。）
そこで、画像生成を一度に行う処理は諦めることとしました。
失敗時のGemからの応答結果
おわりに
Gemの活用で、情報のインプット効率が劇的に向上したことは感じています。
特に、論文の内容を1枚にまとめた画像作成の精度には驚きました。