【移行のお知らせ】
この記事は以下のページに移行しました。
https://www.hoshimin.com/articles/

目次

目次
はじめに
Githubリポジトリ
使用技術
設計
実際にできある形
- 構成図
- フローチャート
Youtube API で動画情報を取得してきてDBに保存する
字幕情報を取得し、DBに保存する
字幕情報をLLMに渡して要約を生成してもらう
Discordに要約を送信する
- main.py
- bot クラス
- 実際に送信されるメッセージ
- 懸念
  - 要約失敗の例
まとめ

はじめに

最近、AIを使った開発をよく目にするため自分も何か作っておきたいと思っていました。
よく耳にするAIサービスのAPIを使うと費用が嵩んでしまうので、OllamaでローカルにLLMを立てて、Youtubeの動画を要約して、Discordのフォーラムチャンネルに送信するBotを作成してみようと思います。

特定のYoutubeチャンネルを監視して、新しい動画が出たら要約を生成、送信という形でやっていこうと思います。

Githubリポジトリ

使用技術

Ollama
Youtube API
Discord.py

それぞれの環境構築方法はすでにたくさんあるので各自で調べてみてください。

設計

設計というほどがっつりは考えませんが、、どのように特定のチャンネルの動画の要約を実現するのかというと、、、
① Youtube API or Youtube RSSフィードで動画情報を取得
② 該当の動画の字幕を取得
③ LLMに要約してもらう

の流れでやっていこうと思います。

それぞれ取得した動画・字幕情報や、生成した要約データはDBに保存するようにもします。

YoutubeAPI 経由で動画情報を取得してくる場合

初回に使用します。
大半のチャンネルはすでに１００本以上動画がありますが、
RSS では直近の動画しか持ってこれないので網羅することができません。
ですので、APIを使って全動画の動画を取得します。

RSS 経由で動画を取得してくる場合

２回目以降に使用します。
動画が投稿されたら拾ってきて要約を生成するというようにします。

字幕情報を持ってくる

こちらは、Youtube API で字幕情報は持ってくることは可能なのですが、
OAuth認証が必要となり、サーバー環境でやろうとすると少し手間になってしまいます。

ですので、別途ライブラリを使用し、OAuthを回避して字幕情報を取得しようと思います。

実際にできある形

構成図

フローチャート

最新の動画を取得して要約を生成するフロー

チャンネルの全動画を取得するフロー

要約をDiscordに投稿するフロー

Youtube API で動画情報を取得してきてDBに保存する

動画件数は結構な量があると思います。
ローカルLLMに字幕情報を渡すとしても全件見るのは時間がかかると思うので、DBに保存しておいて
好きなタイミングで要約生成ができるようにしておきましょう

DBを作成する

下記のようにクエリを作成して、実行します。

スキーマとテーブル作成

-- スキーマの作成
CREATE SCHEMA IF NOT EXISTS youtube_feed_summary;

-- チャンネル情報保存テーブル
CREATE TABLE IF NOT EXISTS youtube_feed_summary.channel (
  channel_id VARCHAR(255) NOT NULL PRIMARY KEY,
  channel_name VARCHAR(255) NOT NULL,
  created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

-- 動画情報保存テーブル
CREATE TABLE IF NOT EXISTS youtube_feed_summary.video (
  video_id VARCHAR(255) NOT NULL PRIMARY KEY,
  title VARCHAR(255) NOT NULL,
  channel_id VARCHAR(255) NOT NULL,
  published DATE NOT NULL,
  link VARCHAR(255),
  summary_send_flag BOOLEAN DEFAULT FALSE,
  FOREIGN KEY (channel_id) REFERENCES youtube_feed_summary.channel (channel_id) ON DELETE CASCADE
);

-- 動画字幕情報保存テーブル
CREATE TABLE IF NOT EXISTS youtube_feed_summary.captions (
  video_id VARCHAR(255) NOT NULL PRIMARY KEY,
  caption TEXT,
  created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  FOREIGN KEY (video_id) REFERENCES youtube_feed_summary.video (video_id) ON DELETE CASCADE
);

-- 要約情報保存テーブル
CREATE TABLE IF NOT EXISTS youtube_feed_summary.summary (
  video_id VARCHAR(255) NOT NULL PRIMARY KEY,
  summary TEXT,
  created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  FOREIGN KEY (video_id) REFERENCES youtube_feed_summary.video (video_id) ON DELETE CASCADE
);

Youtube API から動画情報を取得する

ではまず、Youtube API から特定チャンネルの動画情報を取得してくるところから始めます。
Youtube動画にはそれぞれを識別するために videoId が設定されています。
それらをキーとして、字幕情報取得、DB保存をやっていこうと思います。

以下コード↓

指定したチャンネルから全件動画情報を持ってくるスクリプト


from googleapiclient.discovery import build

API_KEY = "～～～～"

youtube = build("youtube", "v3", developerKey=API_KEY)

def get_all_videos(channel_id):
    # チャンネルの全動画を取得
    playlist_id = get_uploads_playlist_id(channel_id)
    all_videos = get_all_videos_from_playlist(playlist_id)

    return all_videos

def get_uploads_playlist_id(channel_id):
    response = youtube.channels().list(
        part="contentDetails",
        id=channel_id
    ).execute()

    return response["items"][0]["contentDetails"]["relatedPlaylists"]["uploads"]

def get_all_videos_from_playlist(playlist_id):
    videos = []
    next_page_token = None

    while True:
        response = youtube.playlistItems().list(
            part="snippet",
            playlistId=playlist_id,
            maxResults=50,
            pageToken=next_page_token
        ).execute()

        for item in response["items"]:
            videos.append({
                "video_id": item["snippet"]["resourceId"]["videoId"],
                "title": item["snippet"]["title"],
                "published": item["snippet"]["publishedAt"],
                "link": f'https://www.youtube.com/watch?v={item["snippet"]["resourceId"]["videoId"]}'
            })

        next_page_token = response.get("nextPageToken")
        if not next_page_token:
            break

    return videos

こんな感じで指定したチェンネルの動画をすべて持ってきます。
最初は youtube.channnels() からそのまま動画情報を持ってこようとしたのですが、数件数が合わず、、、
調べていく内に、playlist から持ってきたら全件持ってくることができるとのことだったのでそちらに修正しました。

DBに保存する

DB操作関連をまとめたクラスを作っておきます。

DB操作をまとめたクラス

import psycopg2


class DBManager():
  def __init__(self):
    self.connection = None
    self.cursor = None
    # 接続情報
    self.DB_URL = "～～～"
    self._connect()

  def _connect(self):
    self.connection = psycopg2.connect(self.DB_URL)
    self.cursor =  self.connection.cursor()

  def _close(self):
    if self.cursor:
      self.cursor.close()
    if self.connection:
      self.connection.close()

  def save_new_data(self, data, channel_id, channel_name):
    try:
      # データをvideoテーブルに挿入
      for video in data:
          # video テーブル
          self.cursor.execute(
              "INSERT INTO youtube_feed_summary.video (video_id, title, channel_id, published, link) VALUES (%s, %s, %s, %s, %s)",
              (video['video_id'], video['title'], channel_id,
                video['published'], video['link'])
          )

          # captions テーブル
          self.cursor.execute(
              "INSERT INTO youtube_feed_summary.captions (video_id) VALUES (%s)",
              (video['video_id'],)
          )

          # summary テーブル
          self.cursor.execute(
              "INSERT INTO youtube_feed_summary.summary (video_id) VALUES (%s)",
              (video['video_id'],)
          )

      self.connection.commit()
    except Exception as e:
        print("Error:", e)
        self.connection.rollback()
        print("Rollback executed")
    finally:
        self.cursor.close()
        self.connection.close()

字幕情報を取得し、DBに保存する

字幕情報を取得します。
Youtube API を使用しても取得可能なのですが、先述したようにOAuthを通さないといけないので面倒です。
ドキュメント：https://developers.google.com/youtube/v3/guides/implementation/captions?hl=ja
ですので別途ライブラリを使用します。それが youtube-transcript-api です。
Githubリポジトリ：https://github.com/jdepoix/youtube-transcript-api
こちらを使用すれば、OAuthを通さず、videoId を渡すだけで字幕情報を取得することができます。

以下コード↓

動画IDから字幕情報を持ってくるスクリプト

from youtube_transcript_api import YouTubeTranscriptApi

def get_caption(video_id):
    # 対象のYouTube動画のIDを指定

    # 日本語の字幕を取得
    transcript = YouTubeTranscriptApi.get_transcript(video_id, languages=['ja'])

    # 字幕テキストを結合して一つの文字列にする
    transcript_text = ' '.join([item['text'] for item in transcript])

    return transcript_text

取得した字幕をDBに保存する

こちらは、先ほど書いた、DBManager クラスに追加します。

def save_caption_data(video_id, caption):
    try:
        conn = psycopg2.connect(DB_URL)
        cur = conn.cursor()

        # 字幕データを保存
        cur.execute(
            "UPDATE youtube_feed_summary.captions SET caption = %s, updated_at = NOW() WHERE video_id = %s",
            (caption, video_id)
        )

        conn.commit()
    except Exception as e:
        print("Error:", e)
        conn.rollback()
    finally:
        cur.close()
        conn.close()

字幕情報をLLMに渡して要約を生成してもらう

Ollama を用いて要約を生成してもおうと思います。
環境構築等はすでに多くの記事が回っていると思いますのでそちらを参考にしていただければと思います。

モデルによっては日本語を全然返してくれないモデルもアルので日本語に対応しているモデルを探しました。
使用する人によって変わると思いますが、今回は tanuki-dpo-v1.0 を使用しました。
URL:https://ollama.com/7shi/tanuki-dpo-v1.0

[!NOTE]
こちらは作成したあとに気づいたのですが、上記のURLにはこのように記載されています。
！！！！注意！！！！
本モデルは、性能低下のため非推奨となっているGGUF版を使用しています。性能低下を踏まえた上で、体験版として提供するものです。
NFKC正規化がサポートされていないため、全角英数字や半角カナが認識できません。入力しないようにご注意ください。
とあるため他のモデルを使用したほうがいいかもしれません。

こちらで要約を生成していきます。
今回は Modelfile を作成して、Youtubeの動画要約に特化させるように事前にプロンプトを渡しておこうと思います。

Modelfile

FROM 7shi/tanuki-dpo-v1.0:latest

SYSTEM """
あなたは優秀な日本語の長文要約エキスパートです。
以下に示す「YouTube動画の書き起こし全文」を読み、その内容を「約5,000文字程度の日本語」で丁寧に要約してください。

【必須条件】
- 書き起こしの中で話者が特に強調している主張やメッセージを中心に要約してください。
- 細かすぎるエピソードや繰り返される表現は省略または簡潔化し、要点が明確に伝わるようにしてください。
- 元の文脈やニュアンスを損なわないよう注意し、話者の意図や感情も適切に表現してください。

【出力構成】
# 要約内容
要約した内容をタイトルとして記載します。

## はじめに
- 話者が視聴者に伝えたいこと、話し始めた動機、背景を1000文字程度で整理します。

## 主なメッセージと重要なアドバイス
- 話者が具体的に語っている内容を整理し、項目ごとに適切な小見出しを付けてください。
- ポイントごとに簡潔かつ明快に5000文字程度に要約してください。

## おわりに
- 話者が視聴者に最後に伝えたいことや、励ましのメッセージを1000文字程度でまとめます。
"""

PARAMETER temperature 0.2
PARAMETER top_p 0.7
PARAMETER num_ctx 8192

ollama create youtube-summary-model -f Modelfile

でモデルをビルドします。
これでカスタムモデルを作成して、 ollama に登録することができます。

Discordに要約を送信する

公開は普通のチャンネルではなく、フォーラムチャンネルに送信しようと思います。
普通のチャンネルだと流れてしまいますが、フォーラムに送ることで全部がスレッドになり、
要約したものを見返しやすいと思ったからです。

Discord.py を使用して、要約を送信していきます。
今回は特にコマンドを指定するとかはなく、cron で定期的に起動させて、
要約を送信する形にしようと思います。

要約をDiscordに送信するスクリプト

main.py

import discord
from classes import youtube_summary_bot
from utils.config import load_env


def main():
    load_env()
    intents = discord.Intents.default()
    intents.message_content = True
    bot = youtube_summary_bot.YoutubeSummaryBot(intents=intents)
    bot.run(bot.token)


if __name__ == "__main__":
    main()

bot クラス

import os
import discord
from classes.database_manager import DatabaseManager


class YoutubeSummaryBot(discord.Client):
    def __init__(self, intents: discord.Intents):
        super().__init__(intents=intents)
        self.token = os.getenv("DISCORD_TOKEN")
        self.forum_channel_id = os.getenv("FORUM_CHANNEL_ID")
        if self.token is None:
            raise ValueError(
                "DISCORD_TOKEN is not set in the environment variables.")

    async def on_ready(self):
        print(f'Logged in as {self.user} (ID: {self.user.id})')
        print('------')
        await self.get_summary()

    async def on_message(self, message):
        if message.author == self.user:
            return

    async def get_summary(self):
        db_manager = DatabaseManager()
        summary_data = db_manager.get_not_send_summaries_data()
        if not summary_data:
            return
        await self._send_summary_message_to_forum(summary_data)
        db_manager.update_summary_send_flag(summary_data[0][3])
        db_manager._close()

    async def _send_summary_message_to_forum(self, data):
        forum_channel = self.get_channel(self.forum_channel_id)

        if isinstance(forum_channel, discord.ForumChannel):
            title = f"【要約】{data[0][0]}"
            content = f"{data[0][1]} \n\n{data[0][2]}"

            await forum_channel.create_thread(
                name=title,
                content=content,
                auto_archive_duration=10080
            )

        else:
            print("指定されたチャンネルはフォーラムチャンネルではありません。")

実際に送信されるメッセージ

今回は、要約がイラストの添削や、リスナーからの相談を受け付けているさいとうなおき先生の動画をお借りして試してみます。
今回要約する動画がこちら↓
URL：https://www.youtube.com/watch?v=1xp-o1jksSY

そして要約したものがこちら↓

【要約内容】
斎藤直樹さんは、YouTubeチャンネル「斎藤直樹のイラスト講座」でリスナーから寄せられた質問に丁寧に回答しています。今回の質問は、40代のAさんがイラストレーターやポスター制作を目指しているが、時間がないと感じているというものでした。斎藤さんはまず、Aさんの状況に対して共感し、励ましのメッセージを送ります。

斎藤さんは、Aさんが絵を描くことに情熱を持っていることを評価し、無理に完璧なスタイルを追求するのではなく、まずは自分が楽しめる範囲で始めることが重要だとアドバイスします。具体的には、1日1時間程度の制作時間を確保し、その中で様々なジャンルや技法に挑戦することを勧めます。また、SNSやオンラインコミュニティを活用して他のクリエイターと交流し、フィードバックを得ることも有益だと述べています。

さらに、斎藤さんはAさんが過去に経験した挫折や困難も理解し、それを乗り越えるための具体的なステップを提案します。例えば、簡単なテストプロジェクトを通じてスキルを磨きつつ、徐々に複雑な作品に挑戦していくことが効果的だと説明します。また、Aさんが描くキャラクターや背景に対するフィードバックを積極的に求めることで、自分のスタイルを確立しやすくなるとアドバイスしています。

最後に、斎藤さんはAさんが諦めずに努力を続けることの大切さを強調し、応援していることを伝えます。このメッセージは、Aさんにとって大きな励みとなるでしょう。

【出力構成】
# 要約内容
斎藤直樹さんはYouTubeチャンネル「斎藤直樹のイラスト講座」でリスナーから寄せられた質問に丁寧に回答しています。今回の質問は、40代のAさんがイラストレーターやポスター制作を目指しているが、時間がないと感じているというものでした。斎藤さんはまずAさんの状況に対して共感し、励ましのメッセージを送ります。

斎藤さんは、Aさんが絵を描くことに情熱を持っていることを評価し、無理に完璧なスタイルを追求するのではなく、まずは自分が楽しめる範囲で始めることが重要だとアドバイスします。具体的には、1日1時間程度の制作時間を確保し、その中で様々なジャンルや技法に挑戦することを勧めます。また、SNSやオンラインコミュニティを活用して他のクリエイターと交流し、フィードバックを得ることも有益だと述べています。

さらに、斎藤さんはAさんが過去に経験した挫折や困難も理解し、それを乗り越えるための具体的なステップを提案します。例えば、簡単なテストプロジェクトを通じてスキルを磨きつつ、徐々に複雑な作品に挑戦していくことが効果的だと説明します。また、Aさんが描くキャラクターや背景に対するフィードバックを積極的に求めることで、自分のスタイルを確立しやすくなるとアドバイスしています。

最後に、斎藤さんはAさんが諦めずに努力を続けることの大切さを強調し、応援していることを伝えます。このメッセージは、Aさんにとって大きな励みとなるでしょう。

# 終わりに
斎藤直樹さんのアドバイスと励ましの言葉は、Aさんにとって非常に有益であり、イラストレーターとしての道を進むための具体的な指針となるでしょう。時間がない中でも、楽しみながら学び続けることで、必ず成長できるという信念が伝わってきます。 

https://www.youtube.com/watch?v=1xp-o1jksSY

いい感じに要約してくれていますね！

懸念

やはり、要約部分をAIというブラックボックスに投げているので、どうしても意図していない要約が返されることもあります。
例えば以下のような要約です。

要約失敗の例

このYoutube動画は、Aさんのイラストについての質問に対して回答しています
特に強調されているポイントやアドバイスを以下のように要約します。
（５０００文字）

５０００文字に要約してと送ったら、５０００文字と返してくれました。笑
ゲームをやっている裏で要約を動かしたらこのようになったのでおそらくメモリ不足だったと思いますが、
安定的に要約を生成するのであれば、APIを素直に使用したほうがいいかもしれませんね。

まとめ

今回は、Youtubeの動画を要約してDiscordに送信するBotを作成してみました。
Ollamaを使用することで、ローカルでLLMを立てることができ、APIのコストを気にせずに要約を生成することができました。
ただし、安定性や精度を求めるのであれば、APIを使用したほうがいいかもしれませんね。