Discord.pyとハギングフェイスを用いてローカルLLMで動くDiscord_botを作る #AI

Discord.pyの使い方はこちらの動画を参考にさせていただきました。

Discor Developer Portal の使い方、設定

まずはDiscor Developer Portalにアクセスします。
そうすると以下の画面が出てくるはずなので、右上のnew applicationを選択し、名前を入力します（この名前はボットの表示名になるわけではないです。）

その後、settingsのbotページを開き、Privileged Gateway Intentsの3つの項目をすべてオンにし、下にホップアップで出てくるsave changesを押します。

終わったら、Oauth2タグに移動し、SCOPESではBOTをオンにし、BOT PERMISSIONSではAdministratorをオンにします。

オンにしたら、下のURLにアクセスし、サーバーに追加します。

その後、botタグに移動しreset tokenを押します。パスコードを入力後、出てきたトークンをコピーし、保存しておきます。

Discord.py のインストール

次は環境にDiscord.pyをインストールします。

Discord.pyがPython 3.12 では動かない場合があるので、動かなかったらPython 3.11をインストールして、実行してみてください。

環境の用意

venvを用いて仮想環境を作ります。

$ python -m venv env 
$ ./env/Script/activate

仮想環境では動かない場合があるので、自分は本番環境でやりました。

Discord.pyをインストール

$ pip install Discord.py

その後、パイソンファイル（自分の場合はDiscordbot.py）をつくり、以下の内容を記述します。一番下のTOKENのところに先ほどコピーしたトークンを入力します。

Discordbot.py

import discord
from discord.ext import commands

bot = commands.Bot(command_prefix="!", intents=discord.Intents.all())


#起動したときに起こるイベント
@bot.event
async def on_ready():
    print("準備完了")
    await bot.tree.sync()

#/hello
@bot.tree.command(name="hello", description="hello.")
async def ping(interaction: discord.Interaction):
    await interaction.response.send_message("hello ! ")


bot.run("TOKEN")

これを実行し、ボットのいるサーバーで"/hello"と入力すると、hello !　とかえって来るはずです。

LLMが使用できるようにする

LLMが使用できるようにします。今回使用するのは自分が開発したArrowSmart_1.7b_instructionを使います。

ライブラリをインストール

LLMを使えるようにするため、ライブラリをインストールします。

$ pip install transformers
$ pip install pipline
$ pip install protobuf
$ pip install accelerate
$ pip install sentencepiece
$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

もしNvidiaのGPUがない場合は一番下のpip install を以下のものに変えます。

$ pip install torch

discordbot.pyの内容を変更

内容を以下のものに変更します。def con が推論するための関数です。

Discordbot.py

import discord
from discord.ext import commands
from discord import app_commands

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_path = "DataPilot/ArrowSmart_1.7b_instruction"

model = AutoModelForCausalLM.from_pretrained(model_path,device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_path)

generator = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)

torch.cuda.empty_cache()

bot = commands.Bot(command_prefix="!", intents=discord.Intents.all())

def con(in_text):
    text = generator(
        f"ユーザー: {in_text} システム: ",
        max_length = 500,
        do_sample = True,
        temperature = 0.7,
        top_p = 0.9,
        top_k = 0,
        repetition_penalty = 1.1,
        num_beams = 1,
        pad_token_id = tokenizer.pad_token_id,
        num_return_sequences = 1,
        truncation=True
    )
    json_text = text[0]
    result_text = json_text["generated_text"]
    output_text = result_text.replace('ユーザー: '+str(in_text)+' システム:', '')
    output_text = result_text.replace('<0x0A>','')
    return output_text


#起動したときに起こるイベント
@bot.event
async def on_ready():
    print("準備完了")
    await bot.tree.sync()


#/hello
@bot.tree.command(name="hello", description="hello.")
async def ping(interaction: discord.Interaction):
    await interaction.response.send_message("hello ! ")


@bot.tree.command(name="say", description="LLMが返信します。")
@app_commands.describe(saying_msg="送信したい文章を入れてください。")
async def say(interaction: discord.Interaction, saying_msg: str):
    await interaction.response.defer()  # ここで処理中であることを伝える
    res = con(saying_msg)
    await interaction.followup.send(f"{res}") 


bot.run("TOKEN")

このプログラムを実行後、ボットがいるサーバー上で"/sayと打ち、メッセージを送信するとLLMが考えた返信が返ってきます。

初回ロード時にはモデルを読み込むため、時間がかかりますが正常です。

終わり

これで、自作のLLMをdiscord上で友達に見せられますし、簡単にボットを実装することができます。

Discord.pyとハギングフェイスを用いてローカルLLMで動くDiscord_botを作る

目次