Modèles Open-weight et Closed-weight

Les modèles Open-weight et Closed-weight sont deux approches fondamentalement différentes pour le développement et la distribution des grands modèles de langage (LLM), formant une dichotomie clé dans l'écosystème actuel de l'intelligence artificielle. Le choix entre ces approches influence les capacités techniques, l'économie, la sécurité et le développement futur de l'IA.

La distinction réside dans la disponibilité des paramètres entraînés (poids) du modèle. Les modèles Open-weight publient leurs poids, permettant à la communauté de les utiliser, de les modifier et de les déployer localement. Les modèles Closed-weight, en revanche, gardent leurs poids secrets, ne fournissant l'accès à leurs capacités que par le biais d'API propriétaires.

Définitions et différences clés

Modèles Open-weight (à poids ouverts)

Les modèles Open-weight sont des systèmes dont les paramètres entraînés (poids) du réseau neuronal sont publiquement accessibles pour être utilisés, modifiés et distribués. Selon la définition d'Andrej Karpathy d'OpenAI, un tel modèle est similaire à la « distribution du fichier binaire d'un système d'exploitation » — les utilisateurs reçoivent un produit fonctionnel, mais généralement sans accès au code source de l'entraînement ni aux données d'entraînement.

Caractéristiques clés :

• Déploiement local : Possibilité d'exécuter le modèle sur son propre matériel, garantissant un contrôle total sur les données et la confidentialité.
• Ajustement fin (Fine-tuning) : Capacité d'adapter le modèle à des tâches et des domaines spécifiques.
• Transparence et audit : Les chercheurs peuvent examiner les mécanismes internes du modèle pour identifier les biais et les vulnérabilités.

Modèles Closed-weight (à poids fermés)

Les modèles Closed-weight (également connus sous le nom de modèles propriétaires) sont des systèmes dont les paramètres constituent un secret commercial et ne sont accessibles que par des API ou des licences restreintes. Les entreprises qui les développent, comme OpenAI et Anthropic, contrôlent entièrement l'architecture, les méthodes d'entraînement et les mécanismes d'inférence. Le rapport technique du GPT-4 indique explicitement le refus de divulguer des détails, « compte tenu de l'environnement concurrentiel et des implications en matière de sécurité des modèles à grande échelle ».

Caractéristiques clés :

• Contrôle centralisé : Le développeur gère les mises à jour, la sécurité et les politiques d'utilisation.
• Simplicité d'utilisation : L'accès via une API évite aux utilisateurs d'avoir à gérer une infrastructure complexe.
• Opacité : L'absence d'accès aux mécanismes internes rend impossible un audit indépendant et complique la compréhension des raisons des réponses erronées ou biaisées.

Différence avec l'Open-source

Il est important de distinguer les termes open-weight et open-source. Un véritable modèle open-source implique la publication de tous les artefacts nécessaires à sa reproduction : les poids, l'architecture, le code d'entraînement et les ensembles de données. La plupart des modèles « ouverts » modernes, comme Llama de Meta, sont open-weight, mais pas entièrement open-source, car leurs données d'entraînement et leurs méthodes précises de formation restent confidentielles.

Analyse comparative : performance, coût et innovation

Performance et personnalisation

Historiquement, les modèles closed-weight comme le GPT-4 dominaient les benchmarks généraux. Cependant, l'écart de performance se réduit rapidement. Selon le Stanford AI Index 2025, il est passé de 8 % à 1,7 % au cours de la dernière année. Des modèles open-weight puissants, tels que le LLaMA 3.1 405B de Meta et le DeepSeek-V3, affichent des résultats comparables, voire supérieurs pour certaines tâches (notamment en programmation).

L'avantage principal des modèles open-weight réside dans la personnalisation approfondie. La possibilité de procéder à un ajustement fin sur des données spécifiques leur permet de surpasser des modèles closed-weight plus grands mais généralistes dans des domaines de niche, comme la médecine ou le droit.

Aspects économiques

• Coût de l'entraînement : La création de modèles de pointe (frontier models) est extrêmement coûteuse. L'entraînement du GPT-4 est estimé à plus de 100 millions de dollars. Des modèles open-weight comme DeepSeek-V3 atteignent des performances similaires pour un coût de 5,5 millions de dollars, démocratisant ainsi l'accès à la création de systèmes puissants.
• Coût d'utilisation (inférence) : Les modèles closed-weight sont facturés selon un modèle pay-per-use via une API, ce qui peut entraîner des dépenses élevées pour de gros volumes. Les modèles open-weight, déployés localement, nécessitent un investissement initial en infrastructure mais ont un coût total de possession (TCO) considérablement plus faible à grande échelle.

Impact sur la recherche scientifique et l'innovation

Les modèles open-weight transforment fondamentalement la recherche scientifique en garantissant la reproductibilité et la démocratisation de l'accès. Les chercheurs du monde entier peuvent analyser, critiquer et améliorer les modèles ouverts, ce qui crée un écosystème dynamique et accélère le progrès. À l'inverse, les modèles fermés engendrent une « crise de la reproductibilité », car les résultats annoncés ne peuvent être vérifiés de manière indépendante.

Sécurité et dilemmes éthiques

La question de la sécurité est un dilemme central dans le débat entre ouverture et contrôle.

• Approche Closed-weight (Prévention centralisée) : Les développeurs comme OpenAI et Anthropic adoptent une approche préventive. Ils mettent en œuvre des filtres de sécurité complexes, mènent des sessions intensives de « red teaming » (tests d'intrusion) et adhèrent à des politiques strictes, telles que la Responsible Scaling Policy d'Anthropic, s'engageant à ne pas déployer de modèles dépassant certains seuils de risque.
• Approche Open-weight (Résilience décentralisée) : Cette philosophie, similaire à celle du monde de l'open-source, repose sur le principe que « de nombreux yeux rendent toutes les erreurs insignifiantes ». La communauté peut trouver et corriger les vulnérabilités plus rapidement. Cependant, cela crée également des risques : des acteurs malveillants peuvent tout aussi facilement étudier les modèles pour y trouver des failles ou supprimer les mécanismes de protection par un ajustement fin.

Des études montrent que l'intention humaine, et non la disponibilité du modèle, est le principal facteur de risque. 90 % des cas documentés d'abus de l'IA générative sont liés à l'exploitation de fonctionnalités autorisées, et non à des dommages générés par les systèmes eux-mêmes.

Approches réglementaires : UE et États-Unis

• Loi sur l'IA de l'UE : Adopte une approche préventive et axée sur les risques. La loi impose des obligations strictes aux modèles présentant un « risque systémique » (nécessitant plus de 10²⁵ FLOPS pour leur entraînement), mais prévoit des exemptions limitées pour les modèles open-source qui ne présentent pas un tel risque. Cela encourage la transparence, mais crée également une complexité réglementaire.
• Approche des États-Unis : Repose sur la stimulation de l'innovation et la gestion des risques par le biais de normes sectorielles. Le décret exécutif 14110 du président Biden et le rapport subséquent de la NTIA recommandent de s'abstenir d'imposer des restrictions immédiates aux modèles open-weight, proposant plutôt de créer un système de suivi pour prendre des décisions fondées sur des données factuelles.

Modèles et acteurs clés

Tableau comparatif des principaux modèles Open-weight et Closed-weight

Type de modèle	Modèle	Développeur	Caractéristique clé
Open-weight	LLaMA 3.1	Meta	Haute performance, ayant établi une nouvelle norme pour les modèles ouverts ; grande communauté.
	Mixtral 8x7B	Mistral AI	Architecture « Mélange d'Experts » (MoE), offrant une haute performance avec de faibles coûts d'inférence.
Closed-weight	GPT-4 / GPT-4o	OpenAI	Leader historique en termes de performance, fortes capacités multimodales.
	Claude 4 Opus	Anthropic	Axé sur la sécurité et l'éthique (IA Constitutionnelle), grande fenêtre de contexte.

Liens

• Stanford AI Index Report 2025 — Rapport annuel sur l'état de l'IA.
• Rapport de la NTIA sur les modèles à poids ouverts

Bibliographie

• OpenAI et al. (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288.
• DeepSeek-AI (2025). DeepSeek-V3 Technical Report. arXiv:2412.19437.
• Kapoor, S.; Bommasani, R. et al. (2024). On the Societal Impact of Open Foundation Models. arXiv:2403.07918.
• U.S. NTIA (2024). Dual-Use Foundation Models with Widely Available Model Weights. NTIA Report.
• Stanford HAI (2025). Artificial Intelligence Index Report 2025. Full PDF.
• Anthropic (2023). Responsible Scaling Policy. Anthropiс RSP.
• Klyman, K. et al. (2024). A Design Framework for Open-Source Foundation Model Safety. arXiv:2406.10415.
• Kembery, E.; Reed, T. (2024). AI Safety Frameworks Should Include Procedure for Model Access Decisions. arXiv:2411.10547.
• European Commission (2024). General-Purpose AI Models in the AI Act – Q&A. EU AI Act FAQ.
• Zhang, X. et al. (2025). Mitigating Cyber Risk in the Age of Open-Weight LLMs. arXiv:2505.17109.
• Biderman, S. et al. (2024). Risks and Opportunities of Open-Source Generative AI. arXiv:2405.08597.