Mistral AI — ミストラル
Mistral AIは、大規模言語モデル (LLM) の開発を専門とするフランスの人工知能企業です。2023年4月に設立され、同社は急速にヨーロッパおよび世界の市場で主要なプレーヤーの一つとなり、アメリカの巨大テック企業が提供するプロプライエタリモデルの代替として位置づけられています。
Mistral AIのアプローチの主な特徴は、オープンウェイト（主にApache 2.0ライセンス下）を持つ高性能モデルの作成に重点を置いている点です。これにより、最先端のAI技術へのアクセスが民主化されます。同社は、Grouped-Query Attention (GQA)、Sliding Window Attention (SWA)、Sparse Mixture-of-Experts (MoE)といったアーキテクチャの革新で知られており、これらの技術により、比較的小さなサイズと計算コストで高い効率を達成することが可能になっています。
歴史
Mistral AIは、2023年4月にパリで3人のフランス人研究者、アルトゥール・メンシュ (Arthur Mensch)、ギヨーム・ランプル (Guillaume Lample)、ティモテ・ラクロワ (Timothée Lacroix) によって設立されました。創業者3人はいずれも、以前は世界のトップ企業で大規模言語モデルの研究に携わっていました。メンシュはGoogle DeepMindの研究者であり、ランプルとラクロワはMeta AIでLLMを担当していました。
同社のミッションは、オープン性、協力、透明性を推進し、最先端のAIの成果を誰もが利用できるようにすることです。このアプローチにより、Mistral AIは迅速に多額の投資を集めることができました。
- 2023年6月: シードラウンドで1億500万ユーロを調達。これはヨーロッパにおける記録的な額でした。
- 2023年12月: シリーズAラウンドで3億8500万ユーロを調達。これにより、同社の評価額は20億ドルを超え、「ユニコーン企業」となりました。
- 2024年2月: Microsoftとの戦略的パートナーシップを発表。これには1600万ドルの投資と、Azureクラウド上でのMistralモデルの提供が含まれていました。
- 2024年6月: 新たな資金調達ラウンドで6億ユーロを調達。その結果、同社の評価額は約58億ユーロに達し、世界で最も高価なAIスタートアップの一つとなりました。
アーキテクチャの技術的特徴
Mistral AIのモデルはTransformerアーキテクチャをベースにしていますが、効率を高め、計算コストを削減するためのいくつかの重要な革新が組み込まれています。
改良されたTransformer (Mistral 7B)
同社初のモデルであるMistral 7Bは、2つの重要なアーキテクチャ改良を導入しました。
- Sliding Window Attention (SWA) (スライディングウィンドウアテンション): 各トークンが先行するすべてのトークンと相互作用する（計算量が二乗になる）代わりに、SWAはアテンションを固定長のウィンドウ（例: 4096トークン）に制限します。これにより、非常に長いシーケンス（最大32,000トークン以上）を線形の計算量で処理でき、処理速度が大幅に向上します。
- Grouped-Query Attention (GQA) (グループ化クエリアテンション): 標準的なマルチヘッドアテンションメカニズムの最適化です。GQAは、クエリ（queries）よりもキー（keys）とバリュー（values）に対して少ない数の「ヘッド」を使用します（例: 8:1の比率）。これにより、メモリ要件が大幅に削減され、品質をほとんど損なうことなく生成プロセス（推論）が高速化されます。
Sparse Mixture-of-Experts (MoE) - スパース混合エキスパート (MoE)
Mixtralシリーズのモデル（例: Mixtral 8x7B, Mixtral 8x22B）では、Sparse Mixture-of-Experts（スパース混合エキスパート）アーキテクチャが採用されています。単一の密なニューラルネットワーク層の代わりに、複数の並列な「エキスパート」サブネットワークが使用されます。各入力トークンに対して、特別なゲーティング層（ルーター）が動的に活性化するエキスパートの小さなサブセット（通常は8つのうち2つ）を選択します。
これにより、総パラメータ数が非常に大きいモデル（Mixtral 8x22Bは1410億）を作成できますが、各トークンの処理にはそのごく一部（約390億）しか使用されません。その結果、モデルははるかに大きな「密な」モデルに匹敵する品質を、著しく小さいモデルの速度と推論コストで達成します。
Mambaアーキテクチャ (SSM)
2024年、Mistral AIはMamba (Selective State-Space Model)アーキテクチャに基づく実験的なモデルCodestral Mambaを発表しました。Transformerとは異なり、Mambaは状態空間モデルに基づいた再帰的なメカニズムを使用します。主な利点は以下の通りです。
- シーケンス長に対する線形の計算量。これにより、長いコンテキストで非常に高速になります。
- 利用可能なメモリによってのみ制限される理論上「無限」のコンテキスト。
- 同等のTransformerと比較して高い推論速度。
時系列とモデル
| 月 / 年 | モデル | パラメータ数（十億） | 主な特徴 | ライセンス |
|---|---|---|---|---|
| 2023年9月 | Mistral 7B | 73 | GQA + SWAアーキテクチャ。32kコンテキスト。全てのベンチマークでLlama 2 13Bを上回る性能。 | Apache 2.0 |
| 2023年12月 | Mixtral 8x7B | 467億（アクティブ129億） | 初のオープンMoEモデル。GPT-3.5レベルの品質。 | Apache 2.0 |
| 2024年2月 | Mistral Small / Large | ? | API経由で利用可能な「下位」モデルとフラッグシップモデル。 | Small: Apache 2.0, Large: 研究用 |
| 2024年4月 | Mixtral 8x22B | 1410億（アクティブ390億） | 64kコンテキスト。リリース時点でオープンソースモデルの中でSOTA（最高水準）の品質。 | Apache 2.0 |
| 2024年5月 | Codestral 22B | 220 | コード生成に特化したモデル（80以上の言語に対応）。 | 非商用 |
| 2024年7月 | Mathstral 7B / Nemo 12B | 70 / 120 | 数学と多言語に特化したモデル。 | Apache 2.0 |
| 2024年7月 | Codestral Mamba 7.3B | 73 | Mambaアーキテクチャに基づく実験的なコード用モデル。256k+コンテキスト。 | Apache 2.0 |
| 2024年9月 | Pixtral 12B | 120 | 初のオープンなマルチモーダルモデル（テキスト＋画像）。 | Apache 2.0 |
| 2024年11月 | Mistral Large 24.11 | 約1000億以上（推定） | 改良された推論能力を持つ、更新されたフラッグシップモデル。 | 研究用 |
| 2025年1月 | Mistral Small 3 | 240 | 低レイテンシーに最適化（最大150トークン/秒）。70Bモデルレベルの品質。 | Apache 2.0 |
| 2025年5月 | Mistral Medium 3 | ? | 128kコンテキストを持つフロンティアマルチモーダルモデル（テキスト、画像）。 | プロプライエタリ |
| 2025年5月 | Devstral 24B | 240 | 自律的なソフトウェア開発のための「エージェント」モデル。SWE-Benchで46.8%のスコア。 | Apache 2.0 |
競合との比較
- vs. Llama (Meta): Mistralのモデルは、同等またはそれ以上のサイズのLlamaモデルを一貫して上回っています。Mistral 7BはLlama 2 13Bを、Mixtral 8x7BはLlama 2 70Bを凌駕しました。主な違いはライセンスです。Mistralは完全に許容的なApache 2.0を使用しているのに対し、Llamaのライセンスには制限があります。
- vs. GPT (OpenAI): OpenAIのフラッグシップモデル（GPT-4）は、最も複雑なタスクにおいて依然としてリーダーですが、Mistralのオープンモデル（例：Mixtral 8x7B）はGPT-3.5に匹敵する品質を示しています。Mistralはオープンな代替手段を提供し、モデルをローカルで展開し、完全に制御することを可能にします。
- vs. Claude (Anthropic): Claudeモデルは、大きなコンテキストウィンドウと安全性への注力で知られています。Mistralは、同等またはそれ以上のコンテキストを持つオープンモデルを提案しました。標準的なベンチマーク（LMSys Arena）でのパフォーマンスでは、Medium 3モデルがClaude 3 Opusを上回りました。
適用とエコシステム
プロダクト
- Le Chat: Web検索や画像生成機能を含む、Mistralモデルの能力を示す公開チャットアシスタント（Web、iOS/Android）。
- La Plateforme: 企業が自社製品にLLMを統合できるようにする、すべてのMistralモデルへのAPIアクセスを提供する企業向けプラットフォーム。
法人顧客
Mistralの技術は、BNP Paribas（金融）、CMA CGM（物流）、Zalando（Eコマース）、および政府機関のFrance Travailなどの大企業で利用されています。ヨーロッパの顧客にとっては、GDPRに準拠するためにモデルをローカルで展開できることが重要です。
オープンソースコミュニティ
オープンライセンスのおかげで、MistralのモデルはHugging Faceのようなプラットフォームで何千ものプロジェクトの基盤となっています。コミュニティは、生物学（BioMistral）、法学（SaulLM-7B）、さまざまな言語へのローカライズ（例：Polish Bielik 7B）など、特定のタスクを解決するためにモデルを積極的にファインチューニングしています。
ライセンス
| モデルシリーズ | ライセンス | 制限 |
|---|---|---|
| ベース、Small、Mixtral、Mathstral、Nemo、Pixtral、Devstral | Apache 2.0 | 自由な商用利用が可能。 |
| Codestral 22B | 非商用ライセンス | 別途契約なしでの商用利用は禁止。 |
| Largeシリーズ、Mediumシリーズ | Mistral Research / プロプライエタリ | クラウドAPI経由でのみアクセス可能。 |
外部リンク
参考文献
- Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
- Beltagy, I.; Peters, M. E.; Cohan, A. (2020). Longformer: The Long‑Document Transformer. arXiv:2004.05150.
- Dao, T. et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
- Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
- Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
- Gu, A.; Dao, T. (2023). Mamba: Linear‑Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752.
- He, L. et al. (2025). Scaling Instruction‑Tuned LLMs to Million‑Token Contexts via Hierarchical Synthetic Data Generation. arXiv:2504.12637.
- Jiang, A. Q. et al. (2023). Mistral 7B. arXiv:2310.06825.
- Jiang, A. Q. et al. (2024). Mixtral of Experts. arXiv:2401.04088.
- Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
- Shazeer, N. (2019). Fast Transformer Decoding: One Write‑Head is All You Need. arXiv:1911.02150.