8
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

Falcon-180B 世界で最も大きなオープンLLM!

Last updated at Posted at 2023-09-10

image.png

はじめに

人工知能の速変わりする世界で、アラブ首長国連邦(UAE)は再び、そのフラッグシップの大規模言語モデル(LLM)の高度な進化であるFalcon 180Bの画期的なリリースで波を起こしています。テクノロジー・イノベーション研究所(TII)によって開発されたFalcon 180Bは、単なる別のAIモデルではなく、生成型AIの景観を再定義するゲームチェンジャーです。では、Falcon 180Bを特別なものにするのは何であり、UAEやFalconに関連性がない場合でも、なぜそれに興奮すべきなのでしょうか?

Falconとは

Falcon 180Bの世界に飛び込む前に、TIIの生成型AIへの道のりは、Falcon40Bから始まりました。これは、2023年5月にHugging Face LeaderboardのLLMでトップに立ち、オープンソースAIの世界において重要なマイルストーンとなりました。Falcon 40Bは、研究者や商用ユーザーにアクセス可能な最初のモデルの一つとなり、TIIの高度なAIへのアクセスを民主化するというコミットメントがFalcon 180Bの登場を準備しました。

Falcon 180B

Falcon180B。この驚異的なAIモデルは、1800億のパラメータを搭載し、世界で最も強力なオープンアクセスLLMの一つとなっています。3.5兆トークンの広範なデータセットでトレーニングされたFalcon 180Bは、推論、コーディング、能力、知識テストなどさまざまなタスクで優れた性能を発揮するよう設計されています。それは単なる大きさだけでなく、能力も備えています。

競争を凌駕する
Falcon 180Bは、大きさやパワーを超えています。ベンチマークでは、メタのLLaMA 2などの著名な競合製品を凌駕し、Falcon 180Bの相対的にコンパクトなサイズに比べて、驚異的な成績を収めています。さらに、OpenAIの最新のGPT-4やGoogleのPaLM 2 Largeと肩を並べており、AIに関してはサイズだけがすべてではないことを証明しています。

image.png

image.png

Falcon 180Bを本当に特別にするのは、オープンソースの原則へのコミットメントです。このモデルは、Apache 2.0フレームワークに基づいた「Falcon 180B TIIライセンス」のもとで、研究者や商用ユーザーに利用可能です。このアプローチにより、Falcon 180Bは特権を持つ少数の人々の手に閉じ込められるのではなく、そのパワーを活用したいと考える誰にでもアクセス可能なリソースとなります。

ハードウェア要件

さまざまなユースケースでモデルを実行するために必要なハードウェアについて、いくつかのテストを実行しました。これらは最小の数値ではありませんが、アクセスできる設定の最小の数値です。

image.png

まとめ

Falcon 180Bは、アラブ首長国連邦(UAE)のテクノロジー・イノベーション研究所(TII)が開発した世界一の大規模言語モデル(LLM)で、生成型AI分野に革命をもたらす存在です。このモデルは1800億のパラメータを搭載し、3.5兆トークンのデータセットでトレーニングされ、高度なタスクに優れた性能を発揮します。さらに、オープンソースの原則に基づき、誰もが利用できるように提供されています。Falcon 180Bは、競合製品に対抗し、その大きさと能力で注目されており、AI分野に新たな可能性をもたらしています。

参照:
https://huggingface.co/blog/falcon-180b

8
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
8
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?