0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【投稿可】スマホからワンタップで全自動記録する「音声日記パイプライン」をDifyで構築した話

0
Posted at

1. はじめに(背景と課題)

Notion AIのコスト課題

これまで、日々の出来事や思いつきを記録する「日記」や「議事録」の作成には、NotionのAIミーティング機能を試用していました。無料枠の範囲内で日記の記帳に使用したところ非常に便利だったのですが、無料枠が終了し、継続利用するにはビジネスプラン等の契約(月額約3,150円)が必要になることがわかりました。

そこで、個人利用としてよりランニングコストを抑えつつ、Notion AIで体験した「スマホから手軽に音声記録を残し、AIに要約・構造化させる仕組み」を自作できないか検討をはじめました。

以下が旧環境と新環境の比較です。

項目 旧環境(Notion AI) 新環境(Dify + 各種API)
基本料 月額 3,150円 0円(Dify Cloud Sandbox枠)
文字起こし 基本料に含む Whisper API:1分あたり $0.006(約0.9円)
要約・構造化 基本料に含む gpt-5.4-mini:実質数円/月(従量課金)
データ保存先 Notion Googleスプレッドシート(無料)

新環境における音声1分あたりの文字起こしコストは約0.9円(1ドル150円換算)、要約用の gpt-5.4-mini のトークン消費を含めても、毎日3分の日記を録音したとして月額100円未満に収まる計算となります。

スプレッドシートを保存先に選んだ理由(AIコンテキストへの配慮)

Notionではなくスプレッドシートをデータの保存先に採用したのには、明確な意図があります。
蓄積した日記の内容を「別のAIにコンテキスト(事前知識)として読ませる」という二次活用を想定した際、Notionだと日々の記録が個別のサブページとして扱われてしまい、AIへのインプット時にファイル数上限に引っかかってしまうという課題がありました。
そのため、今回はスプレッドシートの1シートに全データをまとめることで、AIにコンテキストとして渡しやすくしています。

2. システムの全体像とアプローチ

アーキテクチャと完成物

「Dify」を連携ハブとして据え、フロントエンドにはiPhone標準の「ショートカット」アプリを採用しました。要約モデルには、JSONの構造化出力精度とコストパフォーマンスに優れた gpt-5.4-mini を採用しています。

スマートフォンのホーム画面に配置したアイコンをタップして話しかけるだけで、数秒後にはスプレッドシートにテキストとして記録される仕組みです。

成果物_録音画面

スマートフォンのホーム画面に配置したアイコンをタップして話しかけるだけで、数秒後にはスプレッドシートにテキストとして記録される仕組みです。

成果物_記帳画面

image.png

AIを活用した開発アプローチ(workflow.ymlの自動生成)

今回、DifyのGUIでゼロからノードを繋ぐのではなく、AIエージェントを活用して仕様から一気にワークフローのベースを生成するアプローチをとりました。

作業手順:

  1. システムの大まかな仕様と変数の流れをテキストで整理する。
  2. AIエージェントに仕様を連携し、Difyインポート用の workflow.yml を出力させる。
  3. Difyにymlファイルをインポートする。
  4. 足りないAPIキー(OpenAI)やWebhook URLを設定する。
  5. テスト実行しながら微調整を行う。

AIにymlを書かせることで、ノード構成の設計や変数の受け渡しの基本構造が最初から出来上がった状態になり、開発の初速が上がりました。

3. バックエンド構築編(Dify × Whisper × gpt-5.4-mini)

Difyの概要と選定理由

各種APIを連携させるパイプラインを構築するにあたり、Python等でフルスクラッチのバックエンドを書く選択肢もありました。しかし、個人プロジェクトにおいて「将来的なプロンプトの微調整」や「新しいLLMモデルへの差し替え」を考えた際、コードの再デプロイなしに視覚的かつ動的にワークフローを管理できる方が保守性が高いと判断し、LLMアプリ開発プラットフォームである「Dify」を選定しました。

Difyは、LLMを活用したアプリケーションをノーコード・ローコードで構築できるプラットフォームです。

  • workflow.yml: アプリケーションの構造はすべてYAML形式のDSLで表現可能であり、インポート/エクスポートが容易です。
  • Workflow API: 構築したワークフローを即座に外部から叩けるAPIが標準で備わっている点が強みです。

ワークフローの実装手順

事前にOpenAI APIキー(音声認識とLLMの両方で共通使用)、GASのWebhook URLを準備しておき、以下の構成で実装します。

  1. 開始ノード: 変数として audio_file(音声ファイル)と record_type(日記/議事録などのカテゴリ)を受け取ります。
  2. 音声文字起こしノード: 受け取った音声ファイルをテキストに変換します。(※モデルは gpt-4o-mini-transcribe を使用)
  3. LLMノード(gpt-5.4-mini): 変換されたテキストを元に情報を抽出し、JSON形式で出力するように指示します。JSON出力の安定性が高いため、後続のシステム連携がスムーズに行えます。
  4. コードノード(JSON解析&ペイロード構築): LLMが出力したJSONをパースし、Webhookへ送信するためのペイロード構造にプログラムで整形します。
  5. テンプレートノード: 整形された変数を、後続のHTTPリクエスト用にプレーンな文字列としてサニタイズします。
  6. HTTPリクエストノード(GOOGLE SHEETS 保存): GASのWebhookに向けてデータをPOST送信します。
  7. 完了ノード: ワークフローの実行結果(HTTPステータスコードやレスポンスボディ)を呼び出し元に返却します。

image.png

躓いたポイント①:DifyからGASへのJSON送信エラーと回避策

LLMノードで生成したJSONデータをHTTPリクエストノードでGASのWebhookへPOSTした際、GAS側で SyntaxError になり、Difyのログを見ると送信データが {} と空になってしまう現象が起きました。

回避策(テンプレートノードの活用):
HTTPノードに渡す前に「テンプレートノード」を経由させることで解決しました。

  1. 「テンプレート」ノードを追加し、変数 json_data に前ノードの出力を紐づけます。本文には {{json_data}} と記述します。これでDify内部の変数がプレーンな「文字列」として扱われます。
  2. HTTPノード側でボディ形式を JSON にし、テンプレートノードの出力をセットします。

スマートな解決策ではないので、ゆくゆくはより理解を深めて修正したいですね。。

4. フロントエンド構築編(iOSショートカット)

iOSショートカットの選定理由と基礎

スマホから「ワンタップで録音を開始し、バックエンドにデータを投げる」ために、OSのネイティブ機能にアクセスできるiPhone標準の「ショートカット」アプリを使用しました。専用アプリを開発せずとも無料でAPIクライアントとして利用できるため、フロントエンドとして適しています。

「ショートカット」はビジュアルプログラミング環境であり、アクションを組み合わせてロジックを作成できます。

  • 録音機能: 「オーディオを録音」アクションでマイクを呼び出します。
  • API連携: 「URLの内容を取得」アクションが、HTTP Clientとして機能します。

実際のショートカットの処理内容は以下。

バックエンド(Dify API)との連携処理

ショートカット内でDifyのAPIを叩く際、以下の2段階の処理を組みました。

  1. ファイルアップロード: Difyの /v1/files/upload に音声をフォームデータとしてPOSTし、ファイルID(id)を取得する。
  2. ワークフロー実行: 取得したファイルIDをJSONに埋め込み、/v1/workflows/run にPOSTして実行する。

躓いたポイント②:複雑なJSONネストでのエラーと回避策

DifyのワークフローAPIに投げる際、辞書の中に辞書があるネストされたJSON構造を送る仕様になっています。これをショートカット標準の「要求本文:JSON」のUIで作成しようとしたところ、型指定の操作が複雑でエラーになりがちでした。

回避策(テキストブロックの使用):
標準のJSON作成UIを使用せず、「テキスト」アクションにJSON文字列を直接記述し、ファイルIDの部分にだけ変数を埋め込む手法をとりました。その後、「URLの内容を取得」アクションの要求本文を「ファイル」に設定し、そのテキストを渡すことで意図通りに送信できました。

ショートカット作成は「Mac」で行うと便利
iPhoneの画面上でAPI設定などの複雑な階層を作成するのは手間がかかりました。Mac標準の「ショートカット」アプリを利用すれば、iCloud経由でiPhoneにも同期されるため、キーボード操作が必要な開発作業はMacで行うことを推奨します。

5. まとめ

今回は、DifyとiOSショートカットを連携させた音声入力パイプラインの構築手順をまとめました。
「NotionのサブページだとAIのコンテキスト上限に引っかかる」といった課題も、データを1つのスプレッドシートに集約することで解決しています。
APIの仕様や変数の扱いで躓く箇所もありましたが、それらをクリアすることで、スマートフォンから手軽に記録を残し、それを自由に二次活用できる環境を構築できました。本記事の内容が、同様のシステム構築を検討している方の参考になれば幸いです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?