Mistral AI (FR)
Mistral AI est une entreprise française spécialisée dans l'intelligence artificielle, axée sur le développement de grands modèles de langage (LLM). Fondée en avril 2023, la société est rapidement devenue l'un des acteurs clés sur les marchés européen et mondial, se positionnant comme une alternative aux modèles propriétaires des géants technologiques américains.
L'approche de Mistral AI se distingue par son accent sur la création de modèles performants aux poids ouverts (principalement sous licence Apache 2.0), ce qui favorise la démocratisation de l'accès aux technologies d'IA de pointe. L'entreprise est réputée pour ses innovations architecturales, telles que le Grouped-Query Attention (GQA), le Sliding Window Attention (SWA) et le Sparse Mixture-of-Experts (MoE), qui permettent à ses modèles d'atteindre une grande efficacité avec une taille et des coûts de calcul relativement faibles.
Histoire
La société Mistral AI a été fondée à Paris en avril 2023 par trois chercheurs français : Arthur Mensch (Arthur Mensch), Guillaume Lample et Timothée Lacroix. Les trois fondateurs avaient auparavant travaillé sur de grands modèles de langage au sein de grandes entreprises mondiales : Mensch était chercheur chez Google DeepMind, tandis que Lample et Lacroix s'occupaient des LLM chez Meta AI.
La mission de l'entreprise est de rendre les avancées de pointe en IA accessibles à tous, en promouvant l'ouverture, la collaboration et la transparence. Cette approche a permis à Mistral AI d'attirer rapidement des investissements importants :
- Juin 2023 : 105 millions d'euros lors d'un tour de table d'amorçage (seed round), un record pour l'Europe.
- Décembre 2023 : 385 millions d'euros lors d'une levée de fonds de série A, portant la valorisation de l'entreprise à plus de 2 milliards de dollars et lui conférant le statut de « licorne ».
- Février 2024 : Annonce d'un partenariat stratégique avec Microsoft, incluant un investissement de 16 millions de dollars et l'intégration des modèles Mistral dans le cloud Azure.
- Juin 2024 : Nouvelle levée de fonds de 600 millions d'euros, portant la valorisation de l'entreprise à environ 5,8 milliards d'euros, ce qui en fait l'une des startups d'IA les plus chères au monde.
Caractéristiques techniques de l'architecture
Les modèles de Mistral AI reposent sur l'architecture des transformeurs, mais intègrent plusieurs innovations clés visant à améliorer l'efficacité et à réduire les coûts de calcul.
Transformeur avec améliorations (Mistral 7B)
Le premier modèle de l'entreprise, Mistral 7B, a introduit deux améliorations architecturales importantes :
- Sliding Window Attention (SWA) (Attention à fenêtre glissante) : Au lieu que chaque token interagisse avec tous les tokens précédents (ce qui a une complexité quadratique), le SWA limite l'attention à une fenêtre de taille fixe (par exemple, 4096 tokens). Cela permet de traiter de très longues séquences (jusqu'à 32 000 tokens et plus) avec une complexité de calcul linéaire, accélérant considérablement le traitement.
- Grouped-Query Attention (GQA) (Attention à requêtes groupées) : Une optimisation du mécanisme standard d'attention multi-têtes (multi-head attention). Le GQA utilise un nombre réduit de « têtes » pour les clés (keys) et les valeurs (values) par rapport aux requêtes (queries) (par exemple, dans un rapport de 8:1), ce qui réduit significativement les besoins en mémoire et accélère le processus de génération (inférence) sans perte de qualité notable.
Sparse Mixture-of-Experts (MoE)
Dans les modèles de la série Mixtral (par exemple, Mixtral 8x7B, Mixtral 8x22B), une architecture de Mélange d'experts épars (Sparse Mixture-of-Experts) est utilisée. Au lieu d'une seule couche dense de réseau neuronal, plusieurs sous-réseaux « experts » parallèles sont employés. Pour chaque token d'entrée, une couche de routage (gating layer) spéciale sélectionne dynamiquement un petit sous-ensemble d'experts à activer (généralement 2 sur 8).
Cela permet de créer des modèles avec un très grand nombre total de paramètres (Mixtral 8x22B en a 141 milliards), mais seule une petite fraction d'entre eux (~39 milliards) est utilisée pour traiter chaque token. En conséquence, le modèle atteint une qualité comparable à celle de modèles « denses » beaucoup plus grands, mais avec la vitesse et le coût d'inférence de modèles nettement plus petits.
Architecture Mamba (SSM)
En 2024, Mistral AI a présenté un modèle expérimental, Codestral Mamba, basé sur l'architecture Mamba (Selective State-Space Model). Contrairement aux transformeurs, Mamba utilise un mécanisme récurrent basé sur des modèles d'espace d'états. Ses avantages clés sont :
- Complexité linéaire par rapport à la longueur de la séquence, ce qui le rend extrêmement rapide sur de longs contextes.
- Contexte théoriquement « infini », limité uniquement par la mémoire disponible.
- Vitesse d'inférence élevée par rapport aux transformeurs équivalents.
Chronologie et modèles
| Mois / Année | Modèle | Paramètres (milliards) | Caractéristiques clés | Licence |
|---|---|---|---|---|
| 09 / 2023 | Mistral 7B | 7,3 | Architecture GQA + SWA ; contexte 32k ; surpasse Llama 2 13B sur tous les benchmarks. | Apache 2.0 |
| 12 / 2023 | Mixtral 8x7B | 46,7 (12,9 actifs) | Premier modèle MoE ouvert ; qualité au niveau de GPT-3.5. | Apache 2.0 |
| 02 / 2024 | Mistral Small / Large | ? | Modèles « junior » et phare, disponibles via l'API. | Small: Apache 2.0, Large: Research |
| 04 / 2024 | Mixtral 8x22B | 141 (39 actifs) | Contexte 64k ; qualité SOTA parmi les modèles open-source au moment de sa sortie. | Apache 2.0 |
| 05 / 2024 | Codestral 22B | 22 | Modèle spécialisé pour la génération de code (80+ langages). | Non-Production |
| 07 / 2024 | Mathstral 7B / Nemo 12B | 7 / 12 | Modèles spécialisés pour les mathématiques et le multilinguisme. | Apache 2.0 |
| 07 / 2024 | Codestral Mamba 7.3B | 7,3 | Modèle expérimental pour le code basé sur l'architecture Mamba ; contexte 256k+. | Apache 2.0 |
| 09 / 2024 | Pixtral 12B | 12 | Premier modèle multimodal ouvert (texte + images). | Apache 2.0 |
| 11 / 2024 | Mistral Large 24.11 | ~100+ (estimation) | Modèle phare mis à jour avec un raisonnement amélioré. | Research |
| 01 / 2025 | Mistral Small 3 | 24 | Optimisé pour une faible latence (jusqu'à 150 tokens/s) ; qualité au niveau des modèles 70B. | Apache 2.0 |
| 05 / 2025 | Mistral Medium 3 | ? | Modèle multimodal de pointe (texte, images) avec un contexte de 128k. | Propriétaire |
| 05 / 2025 | Devstral 24B | 24 | Modèle « agentique » pour le développement logiciel autonome ; 46,8 % sur SWE-Bench. | Apache 2.0 |
Comparaison avec les concurrents
- vs. Llama (Meta) : Les modèles Mistral surpassent de manière constante les modèles Llama de taille similaire, voire supérieure. Mistral 7B a surpassé Llama 2 13B, et Mixtral 8x7B a surpassé Llama 2 70B. La principale différence réside dans la licence : Mistral utilise la licence entièrement permissive Apache 2.0, tandis que la licence de Llama comporte des restrictions.
- vs. GPT (OpenAI) : Les modèles phares d'OpenAI (GPT-4) restent leaders dans les tâches les plus complexes, cependant les modèles ouverts de Mistral (par exemple, Mixtral 8x7B) démontrent une qualité comparable à celle de GPT-3.5. Mistral offre une alternative ouverte, permettant de déployer les modèles localement et de les contrôler entièrement.
- vs. Claude (Anthropic) : Les modèles Claude sont connus pour leur grande fenêtre de contexte et leur orientation vers la sécurité. Mistral a proposé des modèles ouverts avec un contexte comparable ou supérieur. En termes de performance sur les benchmarks standards (LMSys Arena), le modèle Medium 3 a surpassé Claude 3 Opus.
Application et écosystème
Produits
- Le Chat : Un assistant conversationnel public (web, iOS/Android) qui démontre les capacités des modèles Mistral, y compris la recherche sur le web et la génération d'images.
- La Plateforme : Une plateforme d'entreprise avec accès par API à tous les modèles Mistral, permettant aux entreprises d'intégrer les LLM dans leurs produits.
Clients Entreprise
Les technologies de Mistral sont utilisées par de grandes entreprises telles que BNP Paribas (finance), CMA CGM (logistique), Zalando (e-commerce) et l'agence gouvernementale France Travail. Pour les clients européens, la possibilité de déployer les modèles localement est cruciale pour la conformité avec le RGPD.
Communauté Open-Source
Grâce à leur licence ouverte, les modèles Mistral sont devenus la base de milliers de projets sur des plateformes comme Hugging Face. La communauté affine activement les modèles pour des tâches spécialisées, créant des versions pour la biologie (BioMistral), le droit (SaulLM-7B) et la localisation dans différentes langues (par exemple, le polonais Bielik 7B).
Licences
| Série de modèles | Licence | Restrictions |
|---|---|---|
| Base, Small, Mixtral, Mathstral, Nemo, Pixtral, Devstral | Apache 2.0 | Utilisation commerciale libre. |
| Codestral 22B | Non-Production License | Utilisation commerciale interdite sans accord séparé. |
| Séries Large, Medium | Mistral Research / Propriétaire | Accès uniquement via l'API cloud. |
Liens
Littérature
- Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
- Beltagy, I.; Peters, M. E.; Cohan, A. (2020). Longformer: The Long‑Document Transformer. arXiv:2004.05150.
- Dao, T. et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
- Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
- Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
- Gu, A.; Dao, T. (2023). Mamba: Linear‑Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752.
- He, L. et al. (2025). Scaling Instruction‑Tuned LLMs to Million‑Token Contexts via Hierarchical Synthetic Data Generation. arXiv:2504.12637.
- Jiang, A. Q. et al. (2023). Mistral 7B. arXiv:2310.06825.
- Jiang, A. Q. et al. (2024). Mixtral of Experts. arXiv:2401.04088.
- Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
- Shazeer, N. (2019). Fast Transformer Decoding: One Write‑Head is All You Need. arXiv:1911.02150.
Category:Artificial intelligence