Open-weight and closed-weight models — オープンウェイトモデルとクローズドウェイトモデル

From Systems analysis wiki
Jump to navigation Jump to search

Open-weight and Closed-weight models - オープンウェイトモデルとクローズドウェイトモデルは、大規模言語モデル(LLM)の開発と配布における2つの根本的に異なるアプローチであり、現代の人工知能エコシステムにおける重要な二分法を形成しています。これらのアプローチの選択は、技術的能力、経済性、安全性、そしてAIの将来の発展に影響を与えます[1]

この違いは、学習済みパラメータ(重み)の利用可能性にあります。Open-weightモデルは、その重みを公開し、コミュニティがそれらを使用、変更、ローカルに展開することを可能にします。一方、Closed-weightモデルは、重みを非公開にし、独自のAPIを介してのみその機能へのアクセスを提供します[2]

定義と主な相違点

Open-weightモデル

Open-weightモデルとは、ニューラルネットワークの学習済みパラメータ(重み)が、使用、変更、配布のために公開されているシステムのことです。OpenAIのアンドレイ・カルパシーの定義によれば、このようなモデルは「オペレーティングシステムのバイナリファイルを提供する」ようなものであり、ユーザーは機能する製品を受け取りますが、通常は学習用のソースコードや学習データへのアクセスは提供されません。

主な特徴:

  • ローカルでの展開: 独自のハードウェアでモデルを実行でき、データとプライバシーを完全に管理できます。
  • ファインチューニング(Fine-tuning): 特定のタスクやドメインに合わせてモデルを適応させることができます。
  • 透明性と監査: 研究者はモデルの内部メカニズムを調査し、バイアスや脆弱性を特定することができます。

Closed-weightモデル

Closed-weightモデル(プロプライエタリモデルとも呼ばれる)は、パラメータが企業秘密であり、APIまたは制限付きライセンスを通じてのみ利用可能なシステムです。OpenAIやAnthropicなどの開発企業は、アーキテクチャ、学習手法、推論メカニズムを完全に管理しています。GPT-4の技術報告書では、「競争環境と大規模モデルの安全性への影響を考慮し」、詳細を公開しないことが明記されています[3]

主な特徴:

  • 中央集権的な管理: 開発者が更新、セキュリティ、利用ポリシーを管理します。
  • 利用の容易さ: APIを介したアクセスにより、ユーザーは複雑なインフラを管理する必要がなくなります。
  • 不透明性: 内部メカニズムへのアクセスがないため、独立した監査は不可能であり、誤った回答や偏った回答の原因を理解することが困難になります。

Open-sourceとの違い

open-weightopen-sourceという用語を区別することが重要です。真のopen-sourceモデルは、再現に必要なすべてのアーティファクト(重み、アーキテクチャ、学習コード、データセット)の公開を前提としています。MetaのLlamaのような現代の「オープン」モデルの多くは、学習データや正確な学習手法が非公開であるため、open-weightではありますが、完全にopen-sourceではありません。

比較分析:パフォーマンス、コスト、イノベーション

パフォーマンスとカスタマイズ

歴史的に、GPT-4のようなclosed-weightモデルが一般的なベンチマークでリードしてきました。しかし、パフォーマンスの差は急速に縮小しています。『Stanford AI Index 2025』によると、その差は過去1年で8%から1.7%に縮小しました[1]。MetaのLLaMA 3.1 405BDeepSeek-V3のような強力なopen-weightモデルは、同等、あるいは特定のタスク(特にプログラミング)においては、それを上回る結果を示しています[4]

open-weightモデルの主な利点は、高度なカスタマイズにあります。特定のデータで追加学習を行う能力により、医療や法律などの狭い分野において、より大規模で汎用的なclosed-weightモデルを上回ることができます。

経済的側面

  • 学習コスト: 最先端(フロンティア)モデルの開発は非常に高コストです。GPT-4の学習コストは1億ドル以上と見積もられています。DeepSeek-V3のようなopen-weightモデルは、550万ドルのコストで同等のパフォーマンスを達成し、強力なシステムの開発へのアクセスを民主化しています。
  • 利用コスト(推論): Closed-weightモデルはAPIを介したpay-per-useモデルで課金されるため、大量利用時には高額な費用が発生する可能性があります。一方、ローカルに展開されたopen-weightモデルは、インフラへの初期投資が必要ですが、拡張時の総所有コスト(TCO)が大幅に低くなります。

科学研究とイノベーションへの影響

Open-weightモデルは、再現性アクセスの民主化を確保することで、科学研究を根本的に変革しています。世界中の研究者がオープンモデルを分析、批判、改善できるため、ダイナミックなエコシステムが生まれ、進歩が加速します。一方、closed-weightモデルは、公表された結果を独立して検証することができないため、「再現性の危機」を生み出しています。

安全性と倫理的ジレンマ

安全性の問題は、オープン性と管理をめぐる議論の中心的なジレンマです。

  • Closed-weightのアプローチ(中央集権的な防止): OpenAIやAnthropicのような開発者は、予防的なアプローチを採用しています。彼らは複雑な安全フィルターを導入し、集中的な「レッドチーミング」(red teaming)を実施し、AnthropicのResponsible Scaling Policyのような厳格なポリシーを遵守しています。このポリシーは、特定のリスク閾値を超えるモデルを展開しないことを約束するものです[5]
  • Open-weightのアプローチ(分散型のレジリエンス): この哲学は、open-sourceの世界と同様に、「十分な数の目があれば、すべてのバグは浅いものになる」という考え方に基づいています。コミュニティは脆弱性をより迅速に発見し、修正することができます。しかし、これはリスクも生み出します。悪意のある者がモデルを容易に研究して脆弱性を探したり、追加学習によって保護メカニズムを削除したりすることが可能になります。

研究によると、主なリスク要因はモデルの利用可能性ではなく、人間の意図であることが示されています。生成AIの悪用事例の90%は、システム自体が生成した害ではなく、許可された機能の悪用に関連しています。

規制アプローチ:EUと米国

  • EU AI法: 予防的でリスクベースのアプローチを採用しています。この法律は、「システミックリスク」を持つモデル(学習に1025 フロップス以上を要するモデル)に対して厳しい義務を課していますが、そのようなリスクを伴わないopen-sourceモデルには限定的な例外を認めています。これは透明性を促進する一方で、規制の複雑さも生み出しています。
  • 米国のアプローチ: 業界標準を通じたイノベーションの促進とリスク管理に基づいています。バイデン大統領の行政命令14110号およびその後のNTIAの報告書では、open-weightモデルに即時の制限を課すことを避け、代わりに事実に基づいた意思決定を行うためのモニタリングシステムを構築することを推奨しています[6]

主要なモデルとプレイヤー

主要なOpen-weightモデルとClosed-weightモデルの比較表
モデルタイプ モデル 開発者 主な特徴
Open-weight LLaMA 3.1 Meta オープンモデルの標準を確立した高いパフォーマンス。大規模なコミュニティ。
Mixtral 8x7B Mistral AI 「専門家の混合」(MoE)アーキテクチャにより、低い推論コストで高いパフォーマンスを実現。
Closed-weight GPT-4 / GPT-4o OpenAI 歴史的なパフォーマンスリーダー。強力なマルチモーダル機能。
Claude 4 Opus Anthropic 安全性と倫理(Constitutional AI)に重点。大きなコンテキストウィンドウ。

外部リンク

参考文献

  • OpenAI et al. (2023). GPT-4 Technical Report. arXiv:2303.08774.
  • Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288.
  • DeepSeek-AI (2025). DeepSeek-V3 Technical Report. arXiv:2412.19437.
  • Kapoor, S.; Bommasani, R. et al. (2024). On the Societal Impact of Open Foundation Models. arXiv:2403.07918.
  • U.S. NTIA (2024). Dual-Use Foundation Models with Widely Available Model Weights. NTIA Report.
  • Stanford HAI (2025). Artificial Intelligence Index Report 2025. Full PDF.
  • Anthropic (2023). Responsible Scaling Policy. Anthropiс RSP.
  • Klyman, K. et al. (2024). A Design Framework for Open-Source Foundation Model Safety. arXiv:2406.10415.
  • Kembery, E.; Reed, T. (2024). AI Safety Frameworks Should Include Procedure for Model Access Decisions. arXiv:2411.10547.
  • European Commission (2024). General-Purpose AI Models in the AI Act – Q&A. EU AI Act FAQ.
  • Zhang, X. et al. (2025). Mitigating Cyber Risk in the Age of Open-Weight LLMs. arXiv:2505.17109.
  • Biderman, S. et al. (2024). Risks and Opportunities of Open-Source Generative AI. arXiv:2405.08597.

脚注

  1. 1.0 1.1 “Artificial Intelligence Index Report 2025”. Stanford University HAI. [1] 2025年7月4日閲覧。
  2. Karpathy, Andrej. “On Open-sourcing LLMs”. X (formerly Twitter).
  3. “GPT-4 Technical Report”. OpenAI. [2]
  4. “DeepSeek-V2 and DeepSeek-Coder-V2 Technical Report”.
  5. “Anthropic's Responsible Scaling Policy”. Anthropic.
  6. “Dual-Use Foundation Models with Widely Available Model Weights”. U.S. Department of Commerce, NTIA. (2024).