0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

osFoundryのOperatorにアプリを操作させたら、全操作がログに残っていた

0
Posted at

「いま課金されているGPUエンドポイントはどれ?」という質問自体は単純です。ただ、答えるには画面を3つほどたどって数字を読み、チャットに戻って打ち込む必要があります。AIエージェントに任せたいところですが、そこで気になるのが「実際に何をクリックしたのか」です。osFoundryのOperatorは、まさにこの点を前提に作られています。エージェントは会話のすぐ隣にあるアプリのライブ画面で作業し、やったことはすべて記録に残ります。

会話の隣に、アプリのライブ画面

osFoundryは、チャットやAIエージェント、ファイル、各種ツールを1つのウィンドウにまとめたデスクトップアプリです。Operatorの画面は3列に分かれています。左がOperatorのセッション一覧、真ん中が会話、右がダッシュボードのライブ画面(ペイン)です。このペインはosFoundryアプリそのもので、Operatorはここで画面を開きます。ペインの上には今どの画面にいるか(ここではDashboard /models/endpoints)が表示され、Home、Projectへのショートカット、再読み込み、別ウィンドウで開くボタンがあります。境界線をドラッグすればペインを広げられます。

osFoundryのOperator。左にセッション一覧、中央に会話、右にEndpoints画面を開いたダッシュボードのペインがある(表示例)

この例では、Sammyが課金中のGPUエンドポイントを尋ねています。OperatorはペインでEndpointsを開き、カードを読み取ってチャットで答えます。1つはActiveで1時間1.45ドル、これまでに7.54ドル。1つはまだCreatingですが課金は始まっている。もう1つはStoppedです。答えの根拠は今開いた画面そのもので、その画面はペインに残っているので自分で確かめられます。Operatorは稼働中のエンドポイントを止めるか提案しつつ、「Stopを押す前に確認します」と添えています。

アクティビティの帯: Operatorが実際にやったこと

ペインの下には細い帯があり、Operatorが待機中か作業中か、最後に操作したのはいつかが表示されます。開くとLog(ログ)に、このペインでOperatorが行った操作が新しい順に並びます。この例ではModels、Endpointsへの2回の移動で、それぞれに「surface changed, read back」(画面が変わり、読み取った)と記録されています。ログはセッションごとなので、Operatorのセッションはそれぞれ自分の履歴を持ちます。Copy as reportでログ全体をテキストとしてコピーでき、チケットやチームへの共有に使えます。Clearで消去もできます。

osFoundryのOperatorのペイン下にある帯をLogまで開いたところ。2回のnavigate操作が、時刻と開いた画面とともに並んでいる(表示例)

Operatorを信用しやすいのは、ここがあるからです。エージェントが「やりました」と言う要約を信じる必要はなく、ログとペインを見れば分かります。

Operatorと一緒にosFoundryを設定する

例にあるもう1つのセッションは「Set up osFoundry」です。こちらでは帯にSetupタブが加わり、チェックリストが表示されます。このリストはOperatorの報告ではなく、アプリの今の状態を直接読んでいます。項目は、プロバイダーのキー、フォールバック用のモデル、デバイス上のランタイム、ローカルの埋め込みモデル、ルーター役のモデルの5つ。例では5つ中3つが完了していて、残りには理由が書かれています(たとえば「ダウンロード済みだが、まだローカルメモリ用に選ばれていない」)。

osFoundryのOperatorの帯のSetupタブ。5つ中3つの設定が完了し、残りの項目にAsk OperatorとNot nowがある(表示例)

未完了の項目には2つのリンクがあります。Ask Operatorを押すと、その1項目だけを頼む文がメッセージ欄に入り、送信は自分で押します。Not nowはこのセッションで非表示にするだけで、完了扱いにはなりません。1つ決まっているのは、APIキーが必要な手順はチャットでは扱わないことです。Operatorは設定ダイアログを開き、キーはそこに自分で入力します。

Operatorの作業中に画面を離れようとすると、注意が出ます。実行はバックグラウンドで続きクレジットも使い続けますが、操作していたペインを失うので、その画面での次の手順は失敗する、という内容です。残るか、そのまま離れるかを選べます。Stopを押せばOperatorの作業は止まります。

内蔵ブラウザと、横に付くコンパニオンパネル

Operatorが動かすのはosFoundryの中です。Webページには内蔵ブラウザがあり、ページとそれを扱うツールを並べて置けます。左のパネルにはSearch、Opened、Bookmark、Read Later、History。中央がページ本体で、タブ、アドレスバー、ズームがあります。右側がコンパニオンパネルで、Maestro、Page、Links、Actionsのタブが並びます。

osFoundryの内蔵ブラウザ。左に保存した検索、中央にページ、右のコンパニオンパネルのPageタブに抽出した記事が表示されている(表示例)

Pageタブは開いているページを読み取って本文だけを表示します。表示はRenderedとMarkdownを切り替えられ、ページが変わったらRead againで読み直します。Summarizer(要約)の役割にモデルを割り当てておけば、ページの要約もできます。Linksタブにはページから抽出したリンクがURL付きで並ぶので、レイアウトの中を探し回らずに必要なリンクだけたどれます。同じパネルで、osFoundryのメインアシスタントであるMaestroをページの横で動かすこともできます。

osFoundryのブラウザのコンパニオンパネルのLinksタブ。ページから抽出した4つのリンクがURL付きで並んでいる(表示例)

使いどころ: 1日の終わりに使用料を確認する

Sammyは退勤前にOperatorを開き、まだ課金されているエンドポイントを尋ねます。OperatorはペインでEndpoints画面を開いて一覧を返し、アクティビティのログには訪れた2つの画面が残ります。1つが使われていないので、Sammyはそれを止めるよう頼みます。Operatorは先に確認してから停止し、その操作はログとペインのカードの両方に反映されます。翌朝、Sammyはログをレポートとしてコピーし、チームのコスト確認のスレッドに貼ります。

よくある質問

Operatorは確認なしに操作しますか?
Operatorは専用のペインで作業し、そこでの操作をすべて記録します。例では、エンドポイントを止める前に確認しています。また、秘密情報が必要な手順はチャットで扱わず、キーは設定ダイアログに自分で入力します。

何をしたかはどこで確認できますか?
ペインの下の帯です。Logに操作ごとの時刻と開いた画面が並び、Copy as reportでテキストとしてコピーできます。

Operatorと内蔵ブラウザは同じものですか?
違います。Operatorはライブのペインの中でosFoundryアプリ自体を操作します。内蔵ブラウザはWebページ用で、ページを読み取ったりリンクを抽出したりするコンパニオンパネルがあり、Maestroをその横で動かせます。

無料で使えますか?
osFoundryは、自分のデバイスで使う分には無料です。osFoundryのサーバーで処理する機能や、osFoundry経由のモデル呼び出しにはクレジットを使います。

デスクトップアプリはosfoundry.io/ja/downloadから無料でダウンロードできます。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?