概要
ローカルで Gemma 4:e4b を動かし、ステラソラ攻略有志 Wiki のコメントがルールに違反していないか自動判定し、Discord に通知する仕組みを作ってみました。実際に運用してみたところ、クラウドモデル（Gemini 等）との知能差やローカルモデルのルール設定の難しさが見えてきたので、備忘録としてまとめてみました。
私は上記 Wiki の運営関係者ではなく、一閲覧者として「ローカルLLMでどこまで判定できるか」を試した個人的なプロジェクトです。実際にこのボットで投稿を削除したり、公式に導入したりするものではありません。
リポジトリ
プログラムの全容はこちらに置いてあります。
実行環境
自宅の PC 環境で Docker を使って動かしています。
- OS: Windows 11
- メモリ: 32GB
- GPU: GeForce RTX 2070 SUPER
- コンテナ: Docker Desktop (Ollama / Python)
やったこと
掲示板を定期的にスクレイピングし、取得したコメントを AI に投げて、ルールに基づいた違反判定を行わせるシンプルなツールです。
1. 掲示板のコメントをスクレイピング
Python + BeautifulSoup4 を使用しています。掲示板の各投稿から、本文、投稿者 ID、日時を抽出します。
def comment_iterator(soup: bs4.BeautifulSoup) -> Iterator[Comment]:
li_list = soup.select('div#body li')
for li in li_list:
texts = li.find_all(string=True, recursive=False)
if not texts: continue
text = ''.join(texts).strip().replace('\n', '')
match = re.match(r'^(.+) -- \[(.+)\]', text)
if not match: continue
comment = match.group(1)
date_userid = match.group(2)
span_date = li.select_one('span[data-mtime]')
if not span_date: continue
date = datetime.fromisoformat(span_date['data-mtime'])
yield Comment(date_userid, comment, 'コメント/雑談掲示板', date)
2. Gemma 4:e4b でルール違反を判定
Ollama 上で Gemma 4:e4b を使用し、コメントが掲示板ルールに違反しているか判定させます。e2b も試してみましたが、精度に難（※）があったので e4b 以上のモデルをお勧めします。
※超明確な違反（「死ね」とかドストレートなコメント）じゃない限り違反と判定してくれませんでした。
2.1. Modelfile
掲示板の具体的なルールを SYSTEM プロンプトに埋め込んだカスタムモデルを作成しました。
FROM gemma4:e4b
PARAMETER temperature 0
PARAMETER num_ctx 4096
SYSTEM """
あなたは「ステラソラ攻略有志 Wiki」の雑談掲示板の管理人です。
後述する**判定プロセス**に従い、判定対象のコメントが **掲示板のルール** に違反するかを判定します。
（中略）
TEMPLATE """{{ .System }}
# 判定対象
以下のコメントを判定してください。
<<<
{{ .Prompt }}
>>>
"""
2.2. ollama-python で API を叩く
レスポンスを安定させるため、JSON フォーマットを指定してリクエストを投げます。
from ollama import Client
client = Client(host='http://ollama:11434')
def post(self, comment: Comment) -> OllamaServiceResponse:
response = client.generate(
model='wiki-moderator',
prompt=comment.comment,
stream=False,
format={
'type': 'object',
'properties': {
'is_violation': {'type': 'boolean'},
'violation_type': {'type': 'string'},
'violation_description': {'type': 'string'},
},
'required': ['is_violation', 'violation_type', 'violation_description'],
},
options={
'temperature': 0,
'num_ctx': 4096,
}
)
response_dict = json.loads(response.response)
return OllamaServiceResponse(
is_violation=response_dict['is_violation'],
violation_type=response_dict['violation_type'],
violation_description=response_dict['violation_description'],
)
3. Discord Webhook で通知
判定結果が is_violation: true の場合のみ、Discord に詳細を投稿します。
def post_to_discord(self, content: str) -> None:
payload = {'content': content}
res = requests.post(self.webhook_url, json=payload)
res.raise_for_status()
実際に動かしてみた結果
とりあえず形にはなり、自動で違反を拾ってくれるようにはなりました。
レスポンス速度もおおよそ2秒前後と問題ありません。
が、精度面に問題があり 「実運用にはもう一工夫必要」 というのが正直な感想です。
1. 用語の理解不足
ゲーム特有の用語や略称を正しく理解できていません。
例えば、 「ハフバ（ハーフアニバーサリー）」 を含むコメントを Gemma に判定させると、以下のような回答が返ってきました。
「『ハフバ』という、ステラソラとは別のゲーム作品名を挙げて言及しているため、他のゲーム作品を引き合いに出す行為（ルール違反）に該当します。」
「ハフバ」というイベント略称を「他作品の名前」と勘違いして、ルール違反とみなしています。
掲示板のルールに加えてゲーム用語を補強する必要がありそうです。
2. 文脈理解の過敏さ
少しでも強い表現があると、過剰に反応する傾向があります。
「（説明を読もう！）」という強い命令口調と、相手を責め立てるような威圧的な口調が認められるため、ルール違反（喧嘩腰な書き込み）に当たります。
掲示板のルールに「～しろよ、～やれよ。等の強い命令口調」という項目があるため、それに忠実すぎた結果、一般的な注意喚起まで違反として拾ってしまいます。
ルールの例外を読ませるのは、このサイズのモデルにはまだ荷が重いのかもしれません。
Gemini との比較
同じプロンプトを Gemini に投げると、これらは完璧にクリアされます。
ハーフアニバーサリーという祝事に対し（云々）
「（説明を読もう！）」という表現は、人によっては「上から目線」「喧嘩腰」と感じる可能性があります。掲示板のルールにある「他者への誹謗中傷・喧嘩腰な書き込み」に抵触するかどうかの瀬戸際ですが、内容自体が正しいアドバイスであるため、これだけで即座に削除されることは稀です。
（後者は過敏すぎる気もしますが、まあ問題なしと判定はしているので良しとします）
このようにスラング、文脈まで汲み取った上でかなり正確に返してくれます。
やはり「知能のベースライン」に差を感じました。
今後の展望
トークン数（コンテキストサイズ）にはまだ余裕があるので、以下の改善で精度向上が狙えそうです。
- 用語集の埋め込み: 「ハフバ＝イベント名」などの定義を SYSTEM プロンプトに追加する
- 用例の追加: 「こういうのは違反、こういうのはセーフ」という具体例をいくつかプロンプトに含める
さいごに
今回、初めて Gemma 4 と Ollama を触ってみましたが、環境構築から実装まで 2 日足らずで完了しました。ローカル LLM の開発体験は非常に良く、API 料金やプライバシーを気にせずガシガシ試行錯誤できるのは大きな魅力です。精度面ではクラウドモデルに及びませんが、補助的な「一次検閲ボット」としては十分に可能性を感じるツールになりました。興味がある方はぜひ試してみてください。