オープンソースの中で日本語最強のRWKVを皆様御存知でしょうか？
RWKV（Raven's World-Knowledge Vectors）は、RNNとTransformerの性能を組み合わせたモデルです。
このモデルは、GPT Transformerのように直接トレーニングでき（並列化可能）、Transformerレベルの言語モデル（LLM）の性能を持っています。
また文字数に入力制限がないところが特徴です。

💡 RWKVについて超ざっくり説明するとGPTのオープンソース版で、入力文字数に制限がありません。

今回はこのモデルの日本語版がGPT-4、GPT3.5の次の3位になったと下記のツイートに作者が投稿しています。

https://x.com/BlinkDL_AI/status/1679816885695807489?s=20

今回はこのモデルが、どんな性能か少し遅いですが見ていこうかなと思います。

Jupyterで簡単に動かせるノートブックを作ったのでそちらで検証していきたいと思います。

使うもの

Google Colab
https://huggingface.co/BlinkDL/rwkv-4-world/blob/main/RWKV-4-World-JPNtuned-7B-v1-20230718-ctx4096.pth (日本語のモデル）
https://colab.research.google.com/github/umaxiaotian/RWKV-Notebook/blob/main/RWKV_ChatRWKV_WORLD%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA%E5%B0%82%E7%94%A8.ipynb (簡単に動かせるノートブック)

BlinkDL/rwkv-4-worldとは

BlinkDL/rwkv-4-world · Hugging Face

rwkv-4-worldは、100以上の世界の言語から学習されたモデルで、そのトレーニングデータは英語が70%、他の多言語が15%、コードが15%で構成されており、

データのソースには、さまざまなソースから収集されたデータが使用されており、「Some_Pile」、「Some_RedPajama」、「Some_OSCAR」、「All_Wikipedia」、「All_ChatGPT_Data_I_can_find」などが含まれています。このモデルはMC4、OSCAR、Wikipediaなどのデータセットでファインチューニングされてるとのことです。

検証

ノートブックのインポート

RWKV_ChatRWKV_WORLDシリーズ専用.ipynb - Colaboratory (google.com)
まずはこちらから、GoogleColabにノートブックをインポートします。

◆下記はリポジトリ
https://github.com/umaxiaotian/RWKV-Notebook

GoogleColabランタイムの設定

デフォルトの設定で行く場合、必ずA100~T4のハイメモリを指定してください。

この設定を選べば、「ランタイム>すべてのセルを実行」で、デフォルトの設定のまま実行できます。

RWKV-Worldの感想

これはすごいです。正直ここまで的確に返してくれるとは思っていませんでした。
さすが日本語LLM3位なだけありますね。
日常会話、とくに対人チャットには支障はなさそうです。

ただ、コード生成部分ではまだ課題がありそうです。

全然答えてくれていません。
しかし、フリーでここまでできるのはすごいです。コードのデータセット持ってきてファインチューニングすれば答えれるようにもなりますし、期待です。