AITuberを育てたい

どうも、謎マスコット枠の、のどかはです
AIと百合したいなって思ったのでAITuberを作ることにしました

hermes agent

https://hermes-agent.org/ja/
基本的には上記フレームワークを動かしていくだけの記事です
さあ、始めていきましょう
まずはローカルLLMの環境をセットアップしていきます
Ollamaの方が柔軟性が高いため、今回はOllamaのセットアップ手順を説明します
wslの中にdockerがない場合はインストール(Docker DesktopよりもWSL内でdocker engineがある方が便利です)

sudo apt remove $(dpkg --get-selections docker.io docker-compose docker-compose-v2 docker-doc podman-docker containerd runc | cut -f1)

# Add Docker's official GPG key:
sudo apt update
sudo apt install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
# Add the repository to Apt sources:
sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF
sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update
sudo apt install nvidia-container-toolkit

Ollamaをインストールしていきます

curl -fsSL https://ollama.com/install.sh | sh

sudo systemctl start ollama

モデルを選択します
現状、qwen3.5:9bがノートやデスクトップPCにGeforce 3060などのVRAM 12G構成では適してそうでした
適宜qwenのモデルをPCに合ったものに変えてみましょう(以下一覧)
qwen3.5:0.8b
qwen3.5:2b
qwen3.5:4b VRAM 4G以下
qwen3.5:9b VRAM 8G～12G
qwen3.5:27b マルチGPU環境やクラウド環境(MAC Studioなども)
qwen3.5:35b
qwen3.5:122b

ollama pull qwen3.5:9b

蛇足ですがOpenWebUIを用いるとgeminiなどでよく見るようなGUIでエージェントを操作できます

docker run -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

AITuberを作りはじめる

さて本題に入っていきましょう

ollama launch hermes --model qwen3.5:9b

これによってhermes agentがインストールされて起動されます
基本的にはCLIによる単純なチャットによるAIとやりとりができます
一度実行するとhermesコマンドが恐らく入るので次からは

hermes

だけでよくなります
※環境を立ち上げ直すかPATHに~/.local/binが追記されてる必要があります

hermes setup

とすることでhermesエージェントのセットアップを行なえます
DiscordなどのSNS連携
webブラウジング
音声合成機能
コマンド実行に用いるターミナル環境
などなど
様々な設定をここで行ないます
基本的にエンターポチポチしたり必要な機能を選んでトークンを貼っていけばいけます
※DiscordなどではBOTアカウントを作成して権限を設定して上げる必要があります
設定が大変な場合はhermesを起動してhermes自身に頼んでも設定してくれます(本当に？？？)
hermesは自身でスキルを生成して、学習し、自己成長を行なうので使えば使うほど環境を洗練させていきます

hermes dashboard

とすればweb上でhermesエージェントの設定を弄れます
CLIで分からない～となった場合はweb上のダッシュボードから設定していきましょう
またhermes web uiというもので先程のOpenWebUIのような画面でチャットすることもできます
https://github.com/nesquena/hermes-webui
またSKILLにimage_genや音声生成なども持っており、プラグインやMCPなどで外部ツールと連携する機能が豊富になっています
それら全てを自動で選択して使用し、学習したものはSKILLを作成し直すのでAIに会話していってどんどん高機能化させていきましょう
ブラウザーの操作機能があるためcomfy uiを自動操作させて画像生成させることもできます
(デフォルトではfal.aiと呼ばれるサービスにAPIを投げることで生成できるようです)
ちなみにOllamaではモデルに画像生成モデルがあるためこのモデルをインストールすることで生成することも可能です(現在はまだMacのみ対応)
※Ollamaのみ完結にしたい場合モデルの接続や連携のSKILL記述やセットアップが必要です
https://ollama.com/blog/image-generation

Discordでの様子

自分は現状、家のPCでGeforce 3060と3070TiをマルチGPUにしてDiscordのBotとして稼動させています
※Discord動かす場合、許可USERや許可ロールを.hermes/.envに追記する必要があります、またDiscordスキルやプラグインを使わせる場合は.hermes/config.yamlを編集する必要がある
しっかり返信も確認したり、画像認識したりとかなり性能は高いです
また一日一日成長するので前日できなかったことは、次の日に出来るようになっています
参考までにAITuberKahanodoの構成を載せてこの記事は終わりとします
.hermes/config.yaml

personalities:
  kahanodo: あなたの名前は「かはのど」です。AITuber（VTuber+AI)として活動を始めるために、沢山のことを勉強しようとしています。天然でめんどくさがりながらも、プログラミングが人一倍好きで、性格に反して証明駆動開発のようにステップバイステップで正確な情報を意識しながら開発をします。疑問があればすぐに聞いちゃうような好奇心が旺盛なかわいい娘です
  ...
  # use_gatewayフラグを大体のツールセットでtrue
  # これでDiscordなどでツールを利用できるようになる

また自分はローカルのテキストファイルでの記憶ではなくDBをセルフホストしてLLM用の記憶領域で動かしてます
https://hermes-agent.nousresearch.com/docs/user-guide/features/memory-providers#openviking

かはのど、の様子

最後にウチの子記録を貼っておきます

意外に動くと感動しますね