Apple が新しい言語モデルを発表し、AI の世界を前進させる

Apple は、人工知能分野での取り組みを目指して、OpenELM というオープンソース LLM (大規模言語モデル) ファミリーを発表しました。クパチーノの同社は、テスト中にこのツールが他のオープン言語モデルと同様のパフォーマンスを提供したが、トレーニングデータが少ないことを強調しています。

パラメーターはわずか 10 億 Apple によると、OpenELM は「効率的なオープンソース言語モデルのファミリー」と説明できます。この大手テクノロジー企業も、このテクノロジーのハイライトの一部を説明し、「最先端のオープン言語モデル」であると指摘しました。

「OpenELM は、階層化されたスケーリング戦略を使用して、トランスフォーマーモデルの各レイヤー内でパラメーターを効率的に割り当て、精度を高めます」と Apple は強調しています。「たとえば、パラメーターバジェットが約 10 億の場合、OpenELM は OLMo (Allen Institute for AI research) と比較して精度が 2.36% 向上し、事前トレーニングトークンは 2 分の 1 で済みます」と結論付けています。

比較すると、Microsoft の Phi 3 Mini は小規模な AI モデルと考えられており、38 億個のパラメータで動作します。
https://mydesire2learn.com/d2l/eP/presentations/presentation_preview_popup.d2l?presId=131565
https://mydesire2learn.com/d2l/eP/presentations/presentation_preview_popup.d2l?presId=131568
https://khunphijaokhaep15.mojohelpdesk.com/
https://my-golden-blood-ep1.labidesk.com/
https://mydesire2learn.com/d2l/eP/presentations/presentation_preview_popup.d2l?presId=131569
https://nezha2.mojohelpdesk.com/
https://nezha2.mojohelpdesk.com/help/article/328933
https://papaly.com/categories/share?id=1fa912adcd9e4f6a868732eb5fd4dc53
https://hoo.be/catena
https://raindrop.io/cysrs/mshhn-53334576
https://x.com/yusuf_dybala/status/1899337216880792060