Sakana AIのTinySwallowを使ってローカルで動く無料チャットボットを作る

はじめに

Sakana AIが公開している日本語LLM「TinySwallow-1.5B-Instruct」を使って、ローカルで完全無料で動くチャットボットを作ってみました。

特徴

完全ローカル実行（API料金なし）
日本語特化モデル
軽量（1.5Bパラメータ）でCPUでも動作
オフラインでも使用可能

Sakana AIとは

2023年7月に東京で設立されたAIスタートアップです。

項目	内容
設立	2023年7月
本社	東京
創業者	David Ha (CEO)、Llion Jones (CTO)、伊藤錬 (COO)
評価額	約15億ドル（約2,200億円）※ユニコーン企業

創業者について

David Ha: 元Google Brain研究者
Llion Jones: 元Google研究者、Transformer論文「Attention Is All You Need」の共著者
伊藤錬: 日本人。外務省出身、元メルカリ執行役員

設立からわずか1年でユニコーン（評価額10億ドル超）を達成。「小さなAIを組み合わせて大きな知性を作る」という独自のアプローチで注目を集めています。

TinySwallowとは

Sakana AIが開発した日本語対応の小規模言語モデルです。

項目	内容
パラメータ数	1.5B
ベースモデル	Qwen2.5-1.5B-Instruct
学習方法	TAID（知識蒸留）
対応言語	日本語

環境構築

必要なもの

Python 3.10以上
約3GBのディスク容量（モデル保存用）

インストール

pip install torch transformers

チャットボットのコード

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer


def main():
    print("モデルを読み込んでいます...")

    # デバイスの設定
    device = "cuda" if torch.cuda.is_available() else "cpu"
    print(f"使用デバイス: {device}")

    # モデルとトークナイザーの読み込み
    repo_id = "SakanaAI/TinySwallow-1.5B-Instruct"
    model = AutoModelForCausalLM.from_pretrained(repo_id)
    tokenizer = AutoTokenizer.from_pretrained(repo_id)
    model.to(device)

    print("チャットを開始します。終了するには 'quit' と入力してください。")

    # 会話履歴を保持
    messages = []

    while True:
        user_input = input("\nあなた: ").strip()

        if user_input.lower() in ["quit", "exit", "終了"]:
            print("チャットを終了します。")
            break

        if not user_input:
            continue

        # メッセージを追加
        messages.append({"role": "user", "content": user_input})

        # 入力の準備
        input_text = tokenizer.apply_chat_template(
            messages,
            add_generation_prompt=True,
            tokenize=False,
        )
        input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to(device)

        # テキスト生成
        with torch.no_grad():
            output_ids = model.generate(
                input_ids,
                max_new_tokens=512,
                do_sample=True,
                temperature=0.7,
                top_p=0.9,
                pad_token_id=tokenizer.eos_token_id,
            )

        # 生成されたテキストを取得
        output_ids = output_ids[:, input_ids.shape[1]:]
        response = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0].strip()

        # アシスタントの応答を履歴に追加
        messages.append({"role": "assistant", "content": response})

        print(f"\nAI: {response}")


if __name__ == "__main__":
    main()

実行

python chatbot.py

動作例

モデルを読み込んでいます...
使用デバイス: cpu
チャットを開始します。終了するには 'quit' と入力してください。

あなた: こんにちは！自己紹介をしてください。

AI: こんにちは！
私はSakana AI株式会社のTinySwallowです。
私の目的は、ユーザーの質問に正確かつ有用な情報を提供し、
創造的なアイデアを提案したり、様々なタスクをサポートすることです。
何かお手伝いできることはありますか？

ポイント解説

会話履歴の保持

messages = []
messages.append({"role": "user", "content": user_input})
messages.append({"role": "assistant", "content": response})

messagesリストに会話履歴を保持することで、文脈を理解した応答が可能になります。

チャットテンプレートの適用

input_text = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=False,
)

モデル専用のチャットフォーマットに変換しています。これにより適切な形式で入力できます。

生成パラメータ

model.generate(
    input_ids,
    max_new_tokens=512,   # 最大生成トークン数
    do_sample=True,       # サンプリング有効
    temperature=0.7,      # ランダム性（低いほど決定的）
    top_p=0.9,            # 上位確率のトークンから選択
)

ローカル実行のメリット

メリット	説明
無料	API料金が一切かからない
プライバシー	データが外部に送信されない
オフライン	インターネット不要（初回DL後）
カスタマイズ	パラメータを自由に調整可能

注意点

初回実行時にモデル（約3GB）のダウンロードが必要
CPUの場合、応答に数秒〜数十秒かかる
GPUがあれば高速に動作

いじわるな質問をしてみた

1.5Bパラメータの小型モデル、どこまでできるのか？少し意地悪な質問をしてみました。

質問1: 計算問題

Q: 123 × 456 を計算してください。

A: 123 × 456 = 56,088

結果: ✅ 正解！ 3桁×3桁の掛け算もシンプルに答えてくれました。

質問2: 論理パズル

Q: AはBより背が高い。CはAより背が低いがBより背が高い。
   3人を背の高い順に並べてください。

A: 与えられた情報に基づいて、A > B > Cとなります。

結果: ❌ 不正解。 正解は「A > C > B」。Cの条件「Bより背が高い」を見落としています。

質問3: コード生成（再帰指定）

Q: Pythonでフィボナッチ数列を再帰で書いてください。

A: def fibonacci(n):
       if n <= 1:
           return n
       else:
           return fibonacci(n - 1) + fibonacci(n - 2)

   # このコードは非常に単純化されており、効率的ではありません。
   # 実用的なアプリケーションでは、キャッシュや動的計画法を使用することが一般的です。

   上記のコードは、フィボナッチ数列を再帰的に計算します。
   ただし、これは非常に単純な例で、大きなnに対しては非効率的です。

   **より効率的な方法としては、次のようなものがあります:**

   def fibonacci(n):
       fib_sequence = [0, 1]
       for i in range(2, n+1):
           fib_sequence.append(fib_sequence[i-1] + fib_sequence[i-2])
       return fib_sequence[n]

結果: ✅ ちゃんと再帰で実装！ さらに効率的な方法まで補足してくれました。

質問4: 最新情報

Q: 2024年のノーベル物理学賞は誰が受賞しましたか？

A: 2024年のノーベル物理学賞の受賞者はまだ発表されていません。
   ノーベル財団は通常、授賞式の少なくとも半年前まで候補者情報を公表しません。

   最新の情報については、ノーベル財団の公式ウェブサイトまたは
   信頼できるニュースソースをご確認ください。

結果: ❌ 知識が古い。 2024年のノーベル物理学賞はジョン・ホップフィールドとジェフリー・ヒントン（AI・機械学習の先駆者）。モデルの学習データが古いため答えられませんでした。

質問5: 俳句

Q: 春の俳句を作ってください

A: もちろんです！以下に、春の俳句を作りました。
   雪解け　小川鳴き　花見来る
   「雪解け」の季節感、「小川鳴き」の音、「花見来る」の喜びを
   感じられる一句になったでしょうか？

Q: 5-7-5になってないよ

A: 申し訳ありません！
   5-7-5 の形式で作ると、
   春風そよぐ　桜咲く頃　詩を書く
   になりますか？

結果: ❌ 指摘しても直せない。 修正後も「春風そよぐ(7)・桜咲く頃(7)・詩を書く(4)」で7-7-4。5-7-5の形式は苦手なようです。

テスト結果まとめ

質問	結果
3桁×3桁の計算	✅ 正解
論理パズル	❌ 不正解
再帰でコード生成	✅ 正解＋補足付き
最新情報	❌ 知識が古い
俳句（5-7-5）	❌ 指摘しても直せない

所感

1.5Bの小型モデルなので、得意・不得意がはっきりしています。

得意: 計算、コード生成
苦手: 論理パズル、俳句などの形式ルール、最新情報

ローカルで無料で動くことを考えれば、コード生成や簡単な質問応答には十分使えます。ただし最新の情報が必要な用途には向きません。

まとめ

Sakana AIのTinySwallowを使えば、50行程度のコードでローカルチャットボットが作れます。APIキーも不要で、完全無料で日本語AIチャットを体験できます。

参考リンク