Deepseekの登場でNVIDIAやアルファベット、マイクロソフトなどテック系の株が全面安になったらしい。そんなにすごいやつなのか。でもニュースを見る限りでは、競合するならChatGPTだ。NVIDIAには追い風なように思えるのだけど。ともかく新しいものはさわってみよう。
中国のアプリなので、念の為、新しいGoogleアカウントを作って登録する。シャオミのスマートウォッチを使う時に一応調べた。中国の個人情報保護法により、ユーザーデータは中国のサーバーに保管され中国政府がいつでも見る事ができる。これにはどうにもざわっとしてしまう。まあ、念の為。
こんにちは！
なんということでしょう！
「私はOpenAIによって開発された人工知能、ChatGPTです。」
WWW
どうしてこうなった😂
観光スポットを聞いたらバグってしまった！！！
これなんだろうってGoogle翻訳したら、「申し訳ありませんが、DeepSeek でチャットしている人が多すぎます。後でもう一度質問してください。」 なるほど、こういう事が起こるのか。
じゃあ次。得意そうな事を聞いてみよう。
DeepSeek-R1の論文読んだ？【勉強になるよ】
Deepseekの解説記事。ここに載っていた論文をダウンロードして、読み込ませる。
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
だめかー
パーツごとに聞いてみよう。えーと、コピペして中学生にもわかるようにっと
うわ！いきなり回答はじまった！はやいはやい！！！
-
PPOって何？
PPO（Proximal Policy Optimization）は、AIが試行錯誤しながら「どうすればもっとうまくできるか」を学ぶための方法です。例えば、ゲームをプレイするAIが、どうすれば高得点を取れるかを自分で考えて学ぶようなイメージです。 -
2つの大事なパーツ
PPOでは、AIの中に2つの大事なパーツがあります。
① 方策モデル（行動を決めるAI）
これは「どう行動するか」を決めるAIです。
例えば、ゲームの中で「右に進むか、左に進むか、ジャンプするか」を確率的に選びます。
「確率的」というのは、「80%の確率で右に進む、20%の確率で左に進む」のように、確率に基づいて行動を選ぶということです。
② 状態価値モデル（今の状況を評価するAI）
これは「今の状況がどれくらい良いか（または悪いか）」を判断するAIです。
例えば、ゲームの中で「今の位置は安全か？危険か？得点が取れそうか？」を評価します。
- どうやって学ぶの？
行動を試す
方策モデルが確率的に行動を選び、実際に試します（例えば、ゲームをプレイする）。
結果を評価する
状態価値モデルが、その行動の結果を評価します（例えば、「その行動で得点が上がったか、下がったか」）。
改善する
良い結果が出た行動はもっと取りやすくし、悪い結果が出た行動は避けるように方策モデルを調整します。
- なぜ「PPO」がすごいの？
従来の方法よりも安定して学習できるので、AIが効率的に成長できます。
確率的に行動を選ぶことで、新しい発見（例えば、思いがけない高得点の方法）を見つけやすくなります。
まとめ
PPOは、AIが「行動を選ぶAI」と「状況を評価するAI」の2つを使って、試行錯誤しながらどんどん賢くなっていく方法です。ゲームやロボットの制御など、いろんな場面で使われています！
もしもっと詳しく知りたいことがあれば、ぜひ教えてくださいね！ 😊
すごい！！！
この調子でどんどん聞いてみる。
GRPO（Group Relative Policy Optimization）って何？
GRPO（Group Relative Policy Optimization）は、PPO（Proximal Policy Optimization）をさらに発展させた方法で、複数のAIやエージェントが協力して学習するためのアルゴリズムです。これを中学生にもわかりやすく説明しますね！
-
GRPOって何？
GRPOは、AIがグループで協力しながら「どうすればもっとうまくできるか」を学ぶための方法です。例えば、サッカーの試合で、複数のプレイヤーが協力してゴールを目指すようなイメージです。 -
PPOとの違い
PPOは、1つのAIが単独で学習します。
GRPOは、複数のAIがグループで協力しながら学習します。グループ全体のパフォーマンスを向上させることを目指します。
- GRPOの仕組み
GRPOでは、以下のようなステップで学習が進みます。
① グループで行動する
複数のAIが一緒に行動します。例えば、サッカーの試合で、フォワードやディフェンダーがそれぞれの役割を果たします。
② グループ全体の結果を評価する
個々のAIの行動だけでなく、グループ全体の結果を評価します。例えば、「チーム全体で得点が取れたか、失点を防げたか」を評価します。
③ 相対的な評価を行う
グループ内での各AIの貢献度を相対的に評価します。例えば、「フォワードが得点に貢献したか、ディフェンダーが失点を防いだか」を評価します。
④ 改善する
グループ全体の結果を基に、各AIの行動を調整します。良い結果を出した行動はもっと取りやすくし、悪い結果を出した行動は避けるようにします。
- GRPOのメリット
協力が強化される
グループ全体のパフォーマンスを向上させるため、AI同士の協力が自然と強化されます。
効率的な学習
グループ内での相対的な評価により、個々のAIが自分の役割を効率的に学べます。
- GRPOが使われる場面
マルチプレイヤーゲーム
複数のプレイヤーが協力してゴールを目指すゲームなど。
ロボットチーム
複数のロボットが協力して作業を行う場面（例えば、災害救助ロボットなど）。
ビジネスや経済のシミュレーション
複数の企業や個人が協力して最適な戦略を見つける場面。
まとめ
GRPOは、複数のAIがグループで協力しながら学習する方法です。グループ全体の結果を評価し、個々のAIが自分の役割を効率的に学ぶことができます。これにより、より複雑な問題やタスクにも対応できるようになります！
もしもっと詳しく知りたいことがあれば、ぜひ教えてくださいね！ 😊
「PPO」と「GRPO」の違いを図にして
「PPO」と「GRPO」の違いを図にすると、以下のように表せます。図をイメージしながら読んでみてください！
PPO（Proximal Policy Optimization）
Copy
[ 単一のAI ]
↓
[ 行動を選ぶ ] → [ 結果を評価 ] → [ 改善する ]
↓
[ 次の行動 ]
1つのAIが単独で行動し、その結果を評価して改善します。
例：1人のプレイヤーがゲームをプレイし、自分のスコアを上げる方法を学ぶ。
GRPO（Group Relative Policy Optimization）
Copy
[ AIグループ ]
↓
[ 各AIが行動を選ぶ ] → [ グループ全体の結果を評価 ] → [ 相対的に改善する ]
↓
[ 次の行動（協力して） ]
複数のAIがグループで行動し、グループ全体の結果を評価します。
各AIの貢献度を相対的に評価し、グループ全体のパフォーマンスを向上させます。
例：サッカーチームが協力して得点を目指し、各プレイヤーが自分の役割を学ぶ。
図のまとめ
PPOは「1人で学ぶ」イメージ。
GRPOは「チームで学ぶ」イメージ。
この図を頭に浮かべると、PPOとGRPOの違いがわかりやすくなると思います！もしさらに詳しく知りたいことがあれば、ぜひ教えてくださいね！ 😊
状態価値モデルの計算をまとめたって事？
状態価値モデルの計算を中学生にもわかりやすくまとめますね！状態価値モデルは、AIが「今の状態がどれくらい良いか（または悪いか）」を評価するための仕組みです。これを簡単に説明します！
状態価値モデルの計算の流れ
状態を観察する
AIは、今の状況（状態）を観察します。例えば、ゲームの中で「敵が近くにいるか」「得点が取れそうか」などを確認します。
状態を数値化する
観察した状態を、コンピュータが理解できる数値（ベクトルや行列）に変換します。例えば、「敵が近い＝1、遠い＝0」のように数値で表します。
ニューラルネットワークで計算する
状態の数値をニューラルネットワーク（AIの脳みそみたいなもの）に入力し、計算します。ニューラルネットワークは、過去の経験から「この状態はどれくらい価値があるか」を予測します。
状態価値を出力する
計算結果として、「今の状態の価値」が数値で出力されます。例えば、「この状態は将来の得点に繋がるから価値が高い」とか、「この状態は危険だから価値が低い」といった評価です。
状態価値モデルの計算式
状態価値モデルの計算は、以下のような式で表せます。
中学生向けの簡単な例
例えば、迷路ゲームで「ゴールに近づくほど価値が高くなる」とします。
状態：今いる場所が「スタートから3マス目」
計算：ニューラルネットワークが「この場所はゴールに近いから価値が高い」と判断
出力：状態価値 = 0.8（1に近いほど価値が高い）
まとめ
状態価値モデルは、AIが「今の状態がどれくらい良いか」を数値で評価する仕組みです。ニューラルネットワークを使って、将来の報酬を予測し、状態の価値を計算します。
もしもっと詳しく知りたいことがあれば、ぜひ教えてくださいね！ 😊
報酬モデルとルールベースの違いは？
報酬モデルとルールベースは、AIが行動を学ぶための2つの異なるアプローチです。これを中学生にもわかりやすく説明しますね！
- 報酬モデル
報酬モデルは、AIが「良い行動」と「悪い行動」を報酬（点数）によって学ぶ仕組みです。
仕組み
AIが行動を選び、その結果に応じて報酬が与えられます。
例えば、ゲームで「敵を倒すと+10点、ダメージを受けると-5点」のように、報酬が設定されます。
AIは、報酬が最大化されるように行動を選びます。
メリット
柔軟性が高い。報酬の設計次第で、さまざまなタスクに対応できる。
複雑な環境でも学習できる。
デメリット
報酬の設計が難しい。不適切な報酬を設定すると、AIが意図しない行動を学ぶことがある。
- ルールベース
ルールベースは、AIが事前に決められたルールに従って行動する仕組みです。
仕組み
人間が「もし〇〇なら、××する」というルールを事前に設定します。
例えば、ゲームで「敵が近づいたら逃げる」「アイテムを見つけたら拾う」といったルールを設定します。
AIは、そのルールに従って自動的に行動します。
メリット
シンプルでわかりやすい。
報酬モデルよりも動作が安定している。
デメリット
ルールをすべて人間が設計する必要があるため、複雑なタスクには向かない。
新しい状況に対応できない。
- 報酬モデルとルールベースの違い
項目 報酬モデル ルールベース
学習方法 報酬に基づいて行動を学ぶ 事前に決められたルールに従う
柔軟性 高い 低い
設計の難しさ 報酬の設計が難しい ルールの設計が大変
適したタスク 複雑なタスク 単純なタスク - 具体例
報酬モデルの例
迷路ゲームで、ゴールに早くたどり着くと高得点、時間がかかると低得点。
AIは、試行錯誤しながら高得点を取る方法を学びます。
ルールベースの例
迷路ゲームで、「右に壁があったら左に進む」「行き止まりだったら戻る」といったルールを設定。
AIは、ルールに従って自動的に迷路を解きます。
- まとめ
報酬モデルは、AIが報酬に基づいて試行錯誤しながら行動を学ぶ方法です。柔軟性が高く、複雑なタスクに向いています。
ルールベースは、AIが事前に決められたルールに従って行動する方法です。シンプルで安定していますが、複雑なタスクには向いていません。
もしもっと詳しく知りたいことがあれば、ぜひ教えてくださいね！ 😊
ルールベースの方がかんたん？
はい、ルールベースの方が簡単な場合が多いです！その理由を中学生にもわかりやすく説明しますね。
ルールベースが簡単な理由
仕組みがシンプル
ルールベースは、「もし〇〇なら、××する」という単純なルールで動きます。
例えば、「敵が近づいたら逃げる」「アイテムを見つけたら拾う」といったルールを設定するだけです。
設計が直感的
人間がルールを直接決めるので、仕組みがわかりやすいです。
プログラミング初心者でも理解しやすく、実装が簡単です。
動作が安定している
ルールに従って動くので、AIの動作が予測しやすく、安定しています。
報酬モデルのように、AIが意図しない行動を学ぶ心配がありません。
ルールベースのデメリット
複雑なタスクには向かない
ルールをすべて人間が設計する必要があるため、複雑なタスクではルールの数が膨大になり、管理が大変です。
新しい状況に対応できない
事前に決められたルールしか使えないので、想定外の状況に対応できません。
具体例
簡単な例
迷路ゲームで、「右に壁があったら左に進む」「行き止まりだったら戻る」といったルールを設定。
AIは、ルールに従って自動的に迷路を解きます。
複雑な例
サッカーの試合で、すべてのプレイヤーの動きをルールで決めるのは大変です。
例えば、「敵が右にいたらパスする」「ゴール前にスペースがあったらシュートする」といったルールをすべて設計する必要があります。
まとめ
ルールベースは、シンプルでわかりやすく、簡単に実装できるので、初心者や単純なタスクに向いています。
ただし、複雑なタスクや新しい状況に対応するには、報酬モデルや他のAI技術を使う必要があります。
もしもっと詳しく知りたいことがあれば、ぜひ教えてくださいね！ 😊
Aha Momentって？
「Aha Moment」（アハモーメント）とは、突然のひらめきや理解が訪れる瞬間を指す言葉です。この瞬間は、何か新しいことを理解したり、問題の解決策を見つけたりしたときに起こります。DeepSeek-R1-Zeroの文脈では、モデルが学習プロセス中に自分自身で新しい問題解決の方法を発見し、より高度な推論能力を獲得する瞬間を指しています。
具体的には、DeepSeek-R1-Zeroが学習中に、初期のアプローチを再評価し、より多くの思考時間を割り当てることを学ぶ瞬間が「Aha Moment」として記述されています。この瞬間は、モデルが単に与えられたタスクをこなすだけでなく、自発的に問題を再考し、より効果的な解決策を見つけ出す能力を獲得したことを示しています。
この現象は、強化学習（Reinforcement Learning, RL）の力強さと美しさを示すものであり、モデルが外部からの指示なしに自立的に高度な問題解決能力を発展させることができることを示しています。このような「Aha Moment」は、人工知能がより自律的で適応的なモデルへと進化する可能性を示唆しています。
Aha Momentはどうやって実装したの？思考中にタイマーをかけるとか？
「Aha Moment」の実装は、タイマーを使うような単純な仕組みではなく、強化学習（Reinforcement Learning, RL）のプロセスの中で自然に発生する現象です。具体的には、モデルが試行錯誤を通じて自己進化し、より高度な推論能力を獲得する過程で起こります。以下に、その仕組みを詳しく説明します。
- 強化学習（RL）による自己進化
DeepSeek-R1-Zeroは、強化学習を用いてモデルが自己進化するように設計されています。RLのプロセスでは、モデルは報酬（reward）に基づいて行動を改善します。この報酬は、モデルが正しい答えを出したかどうかや、推論プロセスの質に基づいて計算されます。
報酬設計:
正確性報酬: モデルが正しい答えを出した場合に報酬が与えられます。
形式報酬: モデルが推論プロセスを適切な形式（例: タグ内に推論を記述）で出力した場合にも報酬が与えられます。
この報酬設計により、モデルは正しい答えを出すだけでなく、推論プロセスを改善するように動機付けられます。
- 推論プロセスの進化
RLの学習プロセス中、モデルは徐々に推論プロセスを改善します。具体的には、以下のような進化が起こります。
思考時間の増加: モデルは、より複雑な問題に対してより多くの思考時間を割り当てることを学びます。これは、モデルが問題を再評価し、初期のアプローチを改善する能力を獲得したことを示します。
反射的行動: モデルは、推論中に自分の思考を振り返り、誤りを修正する「反射」のような行動を自然に学びます。
これらの行動は、モデルがRLを通じて自己進化する過程で自然に発生します。タイマーなどの外部からの制約はなく、モデルが報酬に基づいて自律的に学習する結果として現れます。
- Aha Momentの具体例
論文では、以下のような具体例が示されています。
モデルの推論:
モデルは最初に問題を解こうと試みますが、途中で誤りに気づきます。
その後、モデルは「Wait, wait. Wait. That’s an aha moment I can flag here.」と自ら気づき、初期のアプローチを再評価します。
再評価を通じて、モデルは正しい解決策を見つけ出します。
この例では、モデルが自分自身で誤りに気づき、再評価する能力を獲得したことが「Aha Moment」として記述されています。
- タイマーや外部制約は使わない
「Aha Moment」は、タイマーや外部からの制約によって強制されるものではありません。RLの報酬設計と学習プロセスを通じて、モデルが自律的に高度な推論能力を獲得する過程で自然に発生します。このため、モデルは外部からの指示なしに、自発的に問題解決の方法を改善することができます。
まとめ
「Aha Moment」は、強化学習の報酬設計と学習プロセスを通じて、モデルが自律的に高度な推論能力を獲得する過程で発生します。タイマーや外部制約は使わず、モデルが自己進化する中で自然に現れる現象です。この仕組みは、人工知能がより自律的で適応的な問題解決能力を獲得する可能性を示しています。
感想
教科書がいらなくなるんじゃないかしら。ChatGPTに３万円課金したのと同じくらい賢いエンジンだと思いました。だからって、NVIDIAが打撃を受けるかどうかはわからない（だけど株価やニュースは右往左往してるって事は、AIを使った事もない人たちが相当投資しているんだろうな)。それより、DeepSeekが無料で提供された事で、技術がDeepseekに流れる事の方が重大な予感がします。
Deepseekがしょっちゅう落ちるので、モデルをダウンロードしてローカルで使ってみようとして気がつきました。これ、きっと、世界中の科学者がやってしまう。ということは・・・バックドア仕掛け放題なのでは？どんな質問をして何を生成したのかがわかれば、特許とか先端技術はどうなる？いや、世界のどこから、だれが、何をリクエストしたか、アクティビティがわかるだけでも相当・・・
でも使わないと勝てない。となると。うわあ。
これは、やられたかもなあ😱
その上、論文に書いてある事は素人の私にもなんとなくわかる、簡単なアイデアなので、実装できる人はどんどんするだろうし。となると、何が起きる？空いたリソースはどう使われる？
でもこれ、トランプ＆イーロンのAI戦略への威力偵察なのだとしたら？二段三段に構えがある可能性も微レ存・・・？
とにもかくにも、しばらく目が離せません。