本記事は下記の続きです。

le Chat Mistral

2024年2月、Mistral AIはMistralモデル（Mistral Large、Mistral Small、Mistral Next）を利用してビジネス環境に展開できる会話アシスタントのデモであるle Chat Mistralをベータユーザー向けにリリースした（ビジネス用途の、よりカスタマイズ性が高いle Chat Enterpriseの発表も同時に行った）¹。

le Chatはフランス語であり、「猫」という意味

Mistral AIのCEOであるArthur Mensch氏は、Mistralがdeveloper firstに焦点を置いており、AI開発者とユーザーの境界技術が薄いことをle Chatをリリースした理由の一つとして挙げている²。またle Chatは、ChatGPTの初期モデル（インタビュー内ではChatGPT version0と言われている）レベルの性能であり、さらに発展させてエンタープライズ系のソリューションにしていく意向についても言及している³。

Mixtral 8x22B

2024年4月、Mistral AIはMixtral 8x22Bを発表した。2023年に発表されたMixtral 8x7Bと同様にオープンソース（Apache 2.0）であり、英語、フランス語、イタリア語、ドイツ語、スペイン語に対応している⁴。ただし、Mixtral 8x7Bに比べてContext windowが倍の64Kになっていることなど、性能向上しているのはもちろん、他の70Bクラスのモデルよりも高性能と謳われている。

Measure of the performance (MMLU) versus inference budget tradeoff (number of active parameters)

Codestral, Codestral Mamba

2024年5月、Mistral AI初のコーディングタスク専用に設計された生成AIモデルであるCodestralが発表された。80以上のプログラミング言語（Python, Java, C, C++, JavaScript, Bashなど）に対応しており⁵、他社製AIモデルと比べて、コンテキストウィンドウは大幅に大きい32k、コーディングパフォーマンスベンチマークのスコアは、ほぼすべてのベンチマークでトップクラスのスコアを記録している⁶。Codestralは、Fill-In-the-Middle（FIM）と呼ばれる部分的なコード記述を行うこと（VS Codeの変数名の補完のようなイメージ）も可能であり、開発体験を高めている⁵⁷。

Codestralベンチマーク

Mistral AIは、Codestralもオープンであると表現しているが、利用にあたりMistral AI non-production license (MNPL)というライセンスを導入している⁸。MNPLでは、Codestralとその成果物をいかなる商業活動においても使用すること、会社の事業活動の文脈で従業員が内部でCodestralを使用することなどを禁じている⁹。学習データに著作物があったなど、MNPL導入の理由については考察されているが¹⁰、Mistral AIから公式の説明はなく、今後はApache 2.0ライセンスで製品をリリースすることを宣言している¹¹。

Codestralに続いて7月に、これまで用いられたTransformerモデルとは異なるMambaというモデルを用いたCodestral Mambaというモデルがリリースされた¹²。Mambaは、選択的状態空間モデル（Selective SSM：Selective State Space Model）を用いることで、高速かつ効率的に長いcontext windowに対応することが可能であり¹³、Transformerを代替しうる有望なアーキテクチャであるとされている。Codestral Mamba は Apache 2.0 ライセンスで利用可能とされた¹²。

Mamba model

Codestral Mamba performance

MathΣtral（Mathtral）

7月、Mistral AIは複雑で多段階の論理的推論を必要とする高度な数学的問題への取り組みを強化するためMathtralというモデルを発表した　（Codestral Mambaと同日）。Mathtralは、数学の分野における人間と人工知能の発展を促進するミッションを掲げる非営利団体であるProject Numinaとコラボし、Mistral 7Bをベースに作られている¹⁴。

Mathtral performance

Mistral NeMo

7月、12BサイズのMistral NeMoという言語モデルを発表した¹⁵。Mistral NeMoは、NVIDIAと共同で開発され、NVIDIA DGX Cloud AIプラットフォーム上で学習が行われており、NVIDIA NIM推論マイクロサービスとしてのパッケージ化、NVIDIA TensorRT-LLMエンジンによるパフォーマンス最適化された推論などNVIDIAサービスとの親和性が抜群である¹⁶。コンテキストウィンドウは128kと大きく、量子化を考慮した学習が行われているため、取り扱うデータのビット数が少ないことから高速な推論を可能とする、FP8推論が可能である¹⁷。
OpenAIが開発した（オープンソース版の）TiktokenというトークナイザーをベースにしたTekkenと呼ばれるトークナイザーを用いており、以前のMistralモデルで使用されていたSentencePieceトークナイザーより効率的になっている¹⁸。

NeMoはNeural Moduleの略¹⁹

Mistral NeMo permormance

Visualizing FP32, FP16, FP8, and INT8 precisions
通常はFP32かFP16が用いられる²⁰

Pixtral 12B, Pixtral Large

2024年9月、Mistral AIは初のマルチモーダルモデルであるPixtral 12Bを発表した²¹。Microsoft Researchが2023年に発表したマルチモーダルモデルであるLLaVAのアーキテクチャに従い画像とテキストの入力を受け付けており、Vision encoderにPixtralVisionModel、Language encoderにMistralForCausalLMが用いられている²²。

Pixtral Model Architecture

11月には、Mistral Large 2 をベースに構築された 124BのマルチモーダルモデルであるPixtral Largeが発表された²³。

Pixtral performance

その他

2024年2月、Mistral AIはMicrosoft社との複数年のパートナーシップを結び、1600万ドルを出資された。最先端のAIインフラへのアクセスが可能となり、ユーザーはAzure AI StudioやAzure Machine LearningモデルカタログのModels as a Service (MaaS)を通じて、この日に発表されたMistral Large²⁴を含めてMistralのモデルが利用できるようになった²⁵。ただしこの提携は、市場の寡占化が進むとして、欧州全域で適用されるAI法の策定を進めてきたEUから激しく非難され、独占禁止法の調査を求める声が上がった²⁶²⁷。
また同月、欧州の大手企業および行政機関に対してカスタマイズされた生成AIソリューションを提供するべく、DXのリーディング企業であるSopra Steria社との提携も発表された²⁸。
6月には、ベンチャーキャピタル企業であるGeneral Catalyst社主導する資金調達ラウンドで、Cisco Systems社やNVIDIA社などから6億ユーロを調達し、Mistral AIの評価額は58億ユーロとなったことが明らかになった（2023年12月の評価額は20億ユーロ）²⁹。
続いて7月には、フランスの3D CADやデジタルツイン関連のソリューションを提供するDassault Systèmes社と提携を結び、LLMaaS（LLM as a Service）、産業顧客の膨大なデータ資産の価値向上を³⁰、
10月にはQualcomm社と提携関係を結び、SnapdragonおよびQualcommプラットフォーム搭載デバイスへのMistralモデル搭載を目指す他³¹、様々な企業と提携関係を結んでいる。