あのイーロンマスク氏が率いる xAI社 が公開している生成AI "Grok-1" が凄いらしい。
あのイーロンマスク氏が率いる xAI社 が公開している生成AI "Grok-1" が凄いらしい。
あのイーロンマスク氏が率いる xAI社 が公開している生成AI "Grok-1" が凄いらしい。
半年ほど前、
個性的な発言でたびたびメディアを賑わせている彼は、
ウィットにと呼んだ個性的な返答をしてくれる AI を公開したと話題になった。
そんな Grok-1 を 無料で使ってみたい！
そんな欲望を持ちながら、GitHubで公開されている情報を基にコードを書いてみることにした。
1.Grok-1 とは
Grok-1 とは、xAI社によって開発された 3140億パラメータ を持つ Mixture-of-Expertsモデル(MoEモデル) である。
MoEモデルとは、特定のタスクに応じて複数の「エキスパート」モデルを使い分けるように構築されたモデルである。
……人間の五感と大脳の関係に似ているイメージ？？？
2.Grok-1 の特徴
- 大規模なパラメータ数: 3140億パラメータ
- 高度な自然言語処理能力
- テキスト生成、質問応答、翻訳などのタスクに優れた性能
- Apache 2.0 ライセンスの下で提供されている、オープンなモデルである。
3.Apache 2.0 ライセンスとは？
Apache 2.0は、非常に寛容なオープンソースライセンスで、自由な利用、変更、配布が許可されています。主な特徴は以下の通りです。
- 自由な利用と改変: 商用利用も含め、自由にソフトウェアを使用、改変可能。
- 配布条件: 改変したソフトウェアの配布時には変更内容を明示する必要があります。
- 特許ライセンス: 開発者が提供する特許技術を使用する権利が与えられます。
- 無保証: ソフトウェアは「現状のまま」提供され、開発者は問題に対して責任を負いません。
4.Grok-1 を使っていこう！
# Grok-1 リポジトリのクローンをダウンロード
!git clone https://github.com/xai-org/grok-1.git
%cd grok-1
# 依存関係のインストール
!pip install -r requirements.txt
# モデルウェイトのダウンロード
!huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
・・・
割と簡単に行けると思いきや、
ハプニング発生!!!
重みのファイルが 296GB もありローカル環境でも Google CoLab 上でも全くダウンロードできず、、、
調べてみると、一個人が自分のPCで Glock-1 を遊ぶのには金銭的な投資が必要でした。。。
5.まとめ
Grok-1 を実行する試みは、モデルの重みの大きさによって実現困難であることが判明しました。
しかし、この経験を通じて、巨大なAIモデルを扱う際の課題と、それに対処するための戦略について多くの教訓を得ることができました。
やはり、何事も時間かけて体験してみるということが大切なのですね。。