0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

RakutenAI-2.0-mini-instructをローカル実行してみたら、何だか様子がおかしい

0
Posted at

こんにちは。とり天/かぼすです。

少し前、いろいろなAIについて調べていたころ、初めて「Rakuten AI」というAIを知りました。

それからRakuten AI本人にいろいろと質問をしてみたところ、オープンウェイトのモデルが公開されていることを知り、気になったので自分のPCで動かしてみることにしました。

今回使用した環境

私のPCのスペックはこんな感じ。

CPU:AMD Ryzen 7 250 w/ Radeon 780M Graphics (3.30 GHz)
GPU:AMD Radeon 780M Graphics (512 MB)
RAM:16GB

うーん、このスペックじゃ、さすがに最新版のRakuten AI 3.0(総パラメータ数約671B)を動かすのはまず無理だろうなぁ。

今回はとりあえず動かしてみたかっただけなので、軽量なRakutenAI-2.0-mini-instructを選びました。

今回使用したモデルはRakuten公式の重みをコミュニティがGGUF変換したもので、これを取得し、Ollamaを使って実行しています。

とりあえず話しかけてみる

モデルの用意ができたら、まずは「こんにちは!」と、簡単な挨拶から試してみました。

>>> こんにちは!

すると、返ってきた回答がこちらです:

こんにちは!今日の天気はどうですか?

**今日の天気予報**

* 今日は晴れです!
* 最高気温は **25°C** です。
* 最低気温は **15°C** です。
* 今日の天気予報はこちらです。

**今日の予定**

* **午前**:
        1. 朝食: **パン** + **卵** + **コーヒー**
        2. お仕事: **午前中の会議**
        3. お昼: **ランチ** (外で食べます)
        4. お夕食: **外食** (家で食べます)
* **午後**:
        1. お仕事: **午後中の会議**
        2. お夕食: **家で食べます**

**今日の楽しみ**

* 晴れた日には、お天気を楽しみながら、屋外で過ごしましょう!
* お仕事や勉強の合間に、外に出て、自然を感じることができます。

**今日の質問**

* 今日はどうですか?
* 何か新しいことを学んでみたいです!
* 今日は **新しいことを始める** 計画がありますか?

待て待て、ええっと、ツッコみどころが多すぎる...(笑)

まず「今日の天気はどうですか?」って、
いやいや、こっちは挨拶しただけなんですけれども...

しかもそのあとに自分で天気予報出力してるし..!

それと午前中の予定の「4. お夕食: 外食 (家で食べます)」ってどっちなんだろう...

聞いてもいないことを次々と出力していっていました。

さらに会話を続けてみる

最初からかなり個性的で面白い回答が返ってきたので、そのまま同じセッション内で会話を続けてみました。

今度は、とても簡単で単純な計算問題です。

>>> 1+1を解いてください

結果はというと:

1 + 1 = **2**


**今日の天気予報**

* 今日は晴れです!
* 最高気温は **25°C** です。
* 最低気温は **15°C** です。
* 今日の天気予報はこちらです。

**今日の予定**

* **午前**:
        1. 朝食: **パン** + **卵** + **コーヒー**
        2. お仕事: **午前中の会議**
        3. お昼: **ランチ** (外で食べます)
        4. お夕食: **外食** (家で食べます)
* **午後**:
        1. お仕事: **午後中の会議**
        2. お夕食: **家で食べます**

**今日の楽しみ**

* 晴れた日には、お天気を楽しみながら、屋外で過ごしましょう!
* お仕事や勉強の合間に、外に出て、自然を感じることができます。

**今日の質問**

* 今日はどうですか?
* 何か新しいことを学んでみたいです!
* 今日は **新しいことを始める** 計画がありますか?

だから今日の天気予報なんていらないって!!

計算自体は正確であるものの、それ以降のテキストのせいで台無しです。

さすがに気になるので、指摘してみました。

>>> 今日の○○いりません...

すると、返ってきたのはまさかのこちら。

今日の予定を記入しますね。

**今日の予定**

1. **午前**:
        * **朝食**: **パン** + **卵** + **コーヒー**
        * **お仕事**: **午前中の会議**
2. **午後**:
        * **お仕事**: **午後中の会議**
        * **お夕食**: **家で食べます**
3. **その他** (今日の予定ではありませんが、今日の楽しみを記入します)
        * **今日の楽しみ**:
                1. **晴れた日には、お天気を楽しみながら、屋外で過ごしましょう!**
                2. **お仕事や勉強の合間に、外に出て、自然を感じることができます。**

**今日の質問**

* 今日はどうですか?
* 何か新しいことを学んでみたいです!
* 今日は **新しいことを始める** 計画がありますか?

言うこと聞いてよ!!

はい、まったく修正をしてくれませんでした。

言い方が悪く伝わらなかった、という可能性もあるのかもしれませんが...それにしてもなあ...

新しいセッションならどうなる?

ここまでくると、新しいセッションで始めるとどうなるのか気になったので、試してみました。

新しいセッションを開いて、再度「こんにちは!」と入れてみます。

すると:

こんにちは!こちらはどんな話をしましょうか?

*   **趣味の話** *   映画 *   音楽 *   ゲーム *   旅行 *   食べ物 *   その他(教えてください)
*   **質問やトピックの提案** *   テクノロジー *   映画 *   旅行 *   食べ物 *   その他(教えてください)
*   **その他** *   お悩み相談 *   お仕事のアドバイス *   その他(教えてください)

今度は前と比べて、かなりまともな回答が返ってきました。
強いて言えば、「こちらはどんな話をしましょうか?」が少し不自然に感じられますが。

うーん、同じ「こんにちは!」なのに、ずいぶん違うなあ。

結局の原因は何?

個人的には、モデルの規模が小さいことも一つの要因なのかな?と思っています。
ただ、今回の挙動がパラメータ数に由来するのか、それともチャットテンプレートや生成設定等が関係しているのかは、まだ分かっていません。
それに、今回出力された「今日の天気予報」「今日の予定」「今日の楽しみ」という構造も、日記のような構造をしています。
もしかすると、学習データにこうした日記調の文章が多く含まれていて、ユーザーの指示があいまいになっている場合にそういうパターンが出やすくなってしまっているのかもしれません。
もちろん、実際に学習データを確認したわけではないので、あくまでも個人の推測ですが。

それでも長所はある

ここまではRakutenAI-2.0-mini-instructの気になるところを書いていきましたが、もちろんこのモデルにも良いところはあります。
個人的に一番良かったと感じたのは、他の海外製のモデルと比べると、日本語がかなり自然に話せていた点です。

たとえばRakutenAI-2.0-mini-instructの1.5Bと総パラメータ数が同じくらいのQwen3の1.7B版と比べると、

Qwen3 1.7Bは

>>> 何か話題を振ってください。お話ししましょう。
Thinking...
Okay, the user asked to talk about a topic. I need to come up with something engaging. Let me think about current
trends. Maybe something related to technology? AI is a big topic these days. How about the impact of AI on daily
life? That's relatable. I should start with a friendly greeting. Maybe mention how AI is changing things. Then add
a personal touch, like a story about a friend using AI. Keep it conversational. Make sure to invite the user to
ask more questions. Check for clarity and natural flow. Alright, that should work.
...done thinking.

こんにちは!
AIは私たちの生活にとても大きな影響を与えていますよね。例えば、医療分野では診断が早まり、交通分野では自動運転が進んで
いるし、教育でも個別指導が可能になったりします。
私には昔、友人くんがAIを使って「自分に合った勉強方法」を提案してくれた話を聞いていました。彼はAIが自分の学び方を理解
し、それに合わせたリソースを提供してくれたので、勉強がより効果的になったと感じました。
今後もAIはどんどん発展していくのかもしれませんが、私たちがどんなに変わった使い方をすればいいのか、ぜひお話ししてみて
ください!

と、(あくまで個人の感想ですが)どこか日本語に不自然さを感じるのに対し、

RakutenAI-2.0-mini-instructは、

>>> 何か話題を振ってください。お話ししましょう。
もちろんです!どのような話題でも構いませんので、お話しください。最近の出来事、趣味や仕事、旅行などの話題を共有するの
もいいですね。どんな話題でも構いませんよ。

と、かなり自然な日本語で回答を返してくれました。

さすがは日本語向けに最適化されたモデルを自負するだけあるな、と思います。

総評

今回の挙動だけでこのモデルの能力全体を評価してしまうのは早計かなと思いますし、Qwen3と指示追従性を比較したわけでもありません。

ただ、少なくとも指示に従って出力を制御する力はあまり強くないのかもしれません。
「何か話題を振ってください。」とこちらから話題を振るように促していた時も、具体的な話題をひとつ示すのではなく、話題の候補を並べるだけにとどまっていました。

一方で、今回の出力を見る限り、日本語の自然さにはかなりの魅力を感じました。
チャット用途として使う場合は少し扱いにくいところがあるかもしれませんが、指示内容を固めたうえで日本語文章の生成や言い換えなどを任せるのであれば、十分使い道がありそうです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?