LGTM、ストックよろしくお願いします！！
はじめに
こんにちは！学生エンジニアの進捗ゼミです。
皆さんはAIエージェントを仕事に活用していますか？今回はスーパーAIエージェントを名乗っているSkyworkを使って、大学院生のリサーチ作業を大幅に楽にしてみました。
使ってみてやはり、AIエージェントはChatGPTよりも一段レベルの高い便利さがあると思いました。
まずはSkyworkを触ってみる
まずはトップページです。
Skyworkではドキュメントや画像、ポッドキャストなど様々なデジタルコンテンツを自律的に考えて作ってもらうことができます。
今回は、汎用を選んで、AIに適切な出力を良い感じにお任せしましょう。
まずお試しとして次のタスクをやらせてみました。
ICSE 2025のbest award論文を検索した後、abstractを抽出してください
研究者としては標準的なタスクですね。
AIエージェントが自動的に使うべきツールを探してきてくれたようです。
さらに、自動的にタスクを達成する計画も出してくれました。
承認すると、自動的に大量のWebサイトを自律的に探してくれます
最終的な結果は自動的にHTML形式で出力されました。次のような内容です。
ここで紹介する論文は実際に存在し、Distinguished Paper Awardを受賞していました。
タスク成功です！！
本格的に使ってみる
さて、ここまでで簡単な使い方は分かりましたが、このぐらいならChatGPTでもできます。せっかくなので、より現実的なタスクをやってもらいましょう。
私は大学院で研究をしているのですが、国際会議で発表された様々な先行研究を読まないといけません。しかし、1つの会議だけで1年に100以上も投稿されるので、基本的にすべてを読むことは不可能です。そこで、タイトルやAbstract（論文の最初の方にある概要のまとめ）を抽出した文章を作って、Geminiに読ませています。
しかし、国際会議ASE2024の論文一覧は次のような形式になっており、Abstractが見えません。
ちなみに、ICSE2025は次のような形式になっており、Abstractも一緒に見れます。
この概要文を含めてAIに読ませることで、私の質問に合わせた先行研究をベースにChatGPTがよりよく仕事をしてくれます。
そこで、Skyworkのスーパーエージェントに次のようにお願いしてみます。
Skyworkに任せたい仕事
ちなみにこの仕事、Geminiにお願いすると10件すら集められずに失敗しました。
Geminiに任せてみた場合
LLMの1回の応答だけだと仕事を終える前に諦めてしまっている。
初めての挑戦は失敗
Skywork君は、最初はうまくやれそうな雰囲気を出せていました。
論文のタイトルを抽出しましたので、次に各タイトルの要旨を検索します。この作業を効率的に進めるため、論文リストを4つのグループに分け、それぞれ並行して検索を実行します。各グループの検索が完了次第、結果を統合し、最終的なMarkdownファイルを作成します。
ちゃんと並列でやってるようなログが見えますね。
これが生成された検索結果です。
一見うまくいっているように見えますが、いくつかの問題があり、調査は失敗でした。
初回の問題点
- AIエージェントが途中で疲れてしまい、5件程度しか結果を返してくれなかった
- AIエージェントがどこから探してきたらいいか分からず、一部の論文のabstractの取得に失敗した
失敗の原因は？
動作の詳細を見ることで、AIエージェントがどのように動作しているかが分かります。ここから、よりよく業務効率化するためのコツを探してみましょう！
まずは、エージェントの検索ログを見てみます。
なんと、論文のタイトルではなくtitle 3という文字列で検索しています！！
いくらなんでも検索が下手すぎです。
さらに、他の試行ログを見てみると…
ASE2024の論文を探してほしかったのに、ACL2024という別の国際会議の論文を探しています。やはり、途中でやることが分からなくなると迷走してしまうようですね。
Skywork活用のコツ
- エージェントのログを見て、どこで間違っているか確認しよう
- タスクの量は多すぎると動かない
- タスクのやり方もなるべく丁寧に
二度目の挑戦で成功！
さて、今度は先ほどの反省をもとに本気でやってみましょう。
次のような改善をしてみます。
- タスクを明確に定義する：直接プロンプトに論文のリストを与えます
- タスクの量を減らす：今回は20個探してもらうことにします
- やり方を明確に説明する：ACM Digital Libraryで*論文タイトルを直接**検索すると明記します
改善後のプロンプトは次のようなものです。
すると、skyworkが賢く検索していることが分かりますね！
いくつか失敗していますが、AIエージェントというよりブラウザ側でエラーが起きているようです。
そんなときでも、Skyworkはあきらめず検索を続けます
16件は私の指定した方法が上手くいって、残りの4件は自力でWeb検索して答えを見つけています！
できあがったリストは完璧でした！
ちゃんと個別の内容もあっています
20件確めましたが、やっぱり全部あってました。
AIエージェントによる改善成果
このぐらい自動的にリサーチしてくれたら、直接国際会議のWebサイトに行ってAbstractを読む作業からはほぼ解放されると思います
Skyworkの優れている点
長い作業でもあきらめずに出力を続ける粘り強さ
ここが圧倒的に優れていました。
GeminiやChatGPTなどの一発で答えを返すタイプのAIエージェントは、すぐに諦めてしまいます。特に、LLMの性能の限界により、一定以上の出力の長さは出せません。
Skyworkのスーパーエージェントはあきらめずに10分以上タスクをこなしてくれます。しかも、今回のタスクのように20件もの論文であっても、最後まで完璧勝つ丁寧に出力してくれます。
普通のAIだったら「あとは同様です」とか言ってサボってしまうところ、AIエージェントはサボらないのが最高でした。
エージェントの改善がしやすい
ChatGPTなどにくらべ、エージェントが何をしてどう考え、どう動いたのかが非常に見えやすいです。
しかも、ちゃんと生成物に出典がついていて、思考をトレースしやすいです。
また、AIエージェントのTODOリストに人間側が閲覧、介入できる機能もあります。
面倒なタスクを雑に引き受けてくれる汎用エージェントとして、かなり実用性があると思います。
おわりに
残念ながら今回はここまでです。
今回試してみた雰囲気を見てると、実は50件ぐらいの論文でやらせても動いてくれる気がします。
非常に研究が楽になりましたし、1発で50件やってくれるならかなり実用圏内だと思います。
skyworkのススメ
- 特に学生の皆さん、先行研究調査をもっと楽にしてみませんか？
- エンジニアの皆さん、AIエージェントに面倒なタスクをプログラミング抜きでパパっと頼んでみませんか？