はじめに
論文読む時には何だかんだ翻訳が欲しくなりますよね。翻訳と要約がセットでいい感じに論文が読めるようになると思います。
今回はDifyで要約を作るためのChatFlowを作成したいと思います。
使用しているバージョンは以下になります。
Dify:0.6.9
全体像
まずは全体像です。
- ざっくりURLから論文の内容をJinaReaderで取得します.
- そしてLLMの入力トークンに収まるように文章を分割します。
- 分割した内容をLLMに翻訳させる処理をIterationで回します。
- 最後に文章をくっつけて翻訳文の完成です。
- JinaReaderで取得している論文の内容をLLMで要約させて完成です。
文章マージのノードを入れていますが、今回は入れているだけで何かに使っているわけではありません。誰かが文章マージどうするんだ？ってなった時のための備忘録で今回は入れています。
作成はChatFlowなので気をつけてください！
では各々のノードでどんな入力、出力を定義しているかみていきましょう。
開始ノード
開始ノードでは入力を定義しています。JinaReaderに入れるためのURLを入力にしましょう。
JinaReaderノード
開始ノードで入力したURLをJinaReaderノードの入力変数にしましょう。
文章分割ノード
JinaReaderノードの出力である論文の内容を分割していきましょう。今回は５０００字ごとに区切っていきます。
Iterationノードは入力としてArray[String]しか受け取らないので、気をつけて出力を定義しましょう。
コードはこちら
def main(sentence: str) -> dict:
chunk_size = 5000
chunks = []
start = 0
while start < len(sentence):
end = start + chunk_size
chunk = sentence[start:end]
chunks.append(chunk)
start = end
return {
"result": chunks,
}
イテレーションノード
再度言いますが、Iterationノードは入力としてArray[String]しか受け取らないです。
ちゃんと前のノードで出力が定義できていなかったら、Iterationノードの入力変数に出てこないので注意しましょう。
翻訳用LLMノード
Iterationノードでは翻訳LLMを実行します。IterationのItemを入力にして翻訳させてください。プロンプトも載せておきますが適当ですのでちゃんと自分で考えてください。
プロンプト
次の内容を日本語に翻訳して。翻訳する時には以下の点に注意して下さい。 - その時に無駄な文字、タイトル、図表のキャプションは主力しないで無視すること - 引用文献一覧に関しては翻訳しないこと {{#context#}}
続いて翻訳するたびに画面に出力したいのでここで一旦出力のノードを作成。
文章マージノード
Iterationノードの出力もまた配列なので、マージしてあげないといけません。
今回はこのノードの出力はどこかに使うわけではありませんが、使いたい人もいると思うので載せておきます。
コードはこちら
def main(arg1: list[str]) -> dict:
concatenated_result = ''.join(arg1) # arg1のすべての要素を連結
return {
"result": concatenated_result,
}
要約用LLMノード
最後に要約も出してあげましょう。私はやはり要約欲しいです。
任意で入れてあげてください。
プロンプト
以下の内容を要約して{{#context#}}
出力ノードを最後に追加して終了！！！
出力結果
一部分スクショ載せますが、めっちゃいい感じです。タイトルまで翻訳されたのは変なのでプロンプトで制御するといいと思います。
最後に
今回は翻訳だけですが、チャットの内容によって翻訳だったり、詳しい解説をするようにさせたり、色々とカスタマイズすると便利そうです。