SuperGLUE (benchmark) (TR)

From Systems analysis wiki
Jump to navigation Jump to search

SuperGLUE — doğal dil işleme sistemlerini, özellikle büyük dil modellerini (BDM) değerlendirmeye yönelik kapsamlı bir benchmark (test görevleri kümesi)[1]. 2019 yılında New York Üniversitesi'nden Alex Wang liderliğinde, Facebook AI Research ve diğer kuruluşların katılımıyla bir araştırmacı grubu tarafından tanıtılmıştır[1].

SuperGLUE'nun oluşturulmasının nedeni, 2019 yılı ortasına gelindiğinde önceki benchmark olan GLUE'nun güncel modeller için "kolay bir görev" hâline gelmiş olmasıdır: GLUE'da en iyi modellerin toplam puanı, insanların ortalama düzeyi olan 87,1'i geçerek 88,4'e ulaşmıştır[1]. Böylece daha fazla ilerleme için alan daralmıştır[1]. Buna yanıt olarak yazarlar, modellerin dil anlama yetkinliğini daha sıkı biçimde sınayan daha zorlu bir alternatif olarak SuperGLUE'yu geliştirmiştir[1]. SuperGLUE'nun amacı, İngilizce genel dil anlama alanındaki ilerleme için tarafsız ve "eğitime karşı dirençli" bir ölçüt sunmaktır[1]. SuperGLUE'da belirgin iyileşmeler sağlamanın; küçük örneklemler üzerinde daha verimli öğrenme, çok görevli öğrenme ve öz denetimli öğrenme gibi Machine Learning yöntemlerinde köklü yenilikler gerektireceği öngörülmüştür[1]. Başka bir deyişle SuperGLUE, insanlar için kolay ancak makine zekâsı için zor olan görevleri içermekte[1]; bu sayede gerçek anlamda derin dil anlayışına sahip modellerin geliştirilmesi teşvik edilmektedir.

Özellikler ve GLUE'dan Farkları

SuperGLUE büyük ölçüde GLUE formatını takip etmektedir: görevlerin tümü üzerinden hesaplanan tek bir bütünleşik kalite puanı, kamuya açık bir liderboard ve modellerin analizine yönelik bir araç seti sunar[1]. Ancak SuperGLUE, selefiyle kıyaslandığında bir dizi iyileştirme ve yenilik getirmektedir[1]:

  • Daha zorlu görevler: SuperGLUE'da en zorlu sekiz görev seçilmiştir[1]. Bunların ikisi GLUE'dan (oradaki en zor görevler arasından) devralınmış, geri kalanları ise güncel NLP modellerine olan zorluklarına göre yeni adaylar arasından seçilmiştir[1]. Böylece benchmark, modellerin daha önce en düşük performans sergilediği anlama boyutlarına odaklanmaktadır.
  • Format çeşitliliği: GLUE'da tüm görevler cümle ya da cümle çifti sınıflandırmasına indirgenirken, SuperGLUE çok daha geniş bir format yelpazesi içermektedir[1]. Sınıflandırmanın yanı sıra, modelin bağlamlı bir metni anlamasını ve mantıksal çıkarım yapmasını gerektiren eşgönderim çözümleme ve soru yanıtlama görevleri de eklenmiştir[1].
  • Tüm görevlerde insan değerlendirmesi: Her görev için uzman olmayan bireylerin oluşturduğu insan performansı temel çizgisi hesaplanmıştır[1]; bu sayede BERT gibi güçlü modellerin bile benchmark'ın yayımlandığı dönemde insanın önemli ölçüde gerisinde kaldığı doğrulanmıştır[1]. Toplamda yaklaşık %90 olan insan referansının varlığı, model gelişimine alan tanımakta ve hedef bir ölçüt işlevi görmektedir[1].
  • Şeffaf kurallar ve araçlar: Liderboard'a sonuç yükleme kuralları gözden geçirilmiştir (adil karşılaştırma sağlamak ve veri kümesi yazarlarının katkılarını belirtmek amacıyla)[1]. Ayrıca SuperGLUE verileri üzerinde modellerin fine-tuning ve çok görevli öğrenme süreçlerini kolaylaştırmak için yeni bir açık kaynak araç seti yayımlanmıştır[1].

Tüm bu önlemler birlikte değerlendirildiğinde, SuperGLUE modellerin genelleştirilmiş dil yetkinliklerini ölçmek için daha güvenilir bir test hâline gelmekte; önceki GLUE'ya özgü formatlara dar biçimde uyum sağlanarak ya da kopya çekilerek yüksek puanlara ulaşılmasının önüne geçmektedir[1].

SuperGLUE Görev Kümesi

SuperGLUE, metin anlayışının farklı boyutlarını kapsayan sekiz görevden oluşmaktadır.

  • BoolQ (Boolean Questions): Her örneğe kısa bir metin (Vikipedi'den alıntı) ve "evet" ya da "hayır" şeklinde yanıtlanması gereken bir soru verilen bir soru yanıtlama (QA) görevidir[1]. Sorular kullanıcılar tarafından (Google arama sorgularından) oluşturulmuştur ve metinden açık ya da örtük bir bilginin çıkarılmasını gerektirir; kalite ölçütü doğru yanıt oranıdır (accuracy)[1].
  • CB (CommitmentBank): Üç sınıflı mantıksal çıkarım (textual entailment) görevidir[1]. Veri kümesi, bağlaçlı karmaşık cümleler içeren kısa metinlerden oluşmaktadır; metnin yazarının iç içe geçmiş ifadenin doğruluğuna ne ölçüde bağlı olduğunu belirlenmesi gerekmektedir[1]. Özünde bu, bir önermenin verilen bağlamdan türetilip türetilemeyeceğinin sınanmasıdır. Görev, küçük örneklem boyutu (yaklaşık 250 örnek) ve sınıf dengesizliği nedeniyle zorludur; kalite, doğruluk ve sınıflar üzerinden ortalama F1 skoru ile ölçülmektedir[1].
  • COPA (Choice of Plausible Alternatives): Neden-sonuç akıl yürütme görevidir[1]. Modele bir öncül (tek cümle) verilir ve iki seçenek arasından doğru neden ya da sonucu seçmesi beklenir[1]. Tüm COPA örnekleri elle oluşturulmuş olup neden-sonuç ilişkisi kurmak için sağduyu gerektirmektedir. Örnekler blog ve özel ansiklopedi ortamlarından alınmıştır; ölçüt doğruluktur (doğru seçim oranı)[1]. Örnek: "Çocuk hastalığa karşı bağışıklık kazandı" cümlesi verildiğinde ve "bunun nedeni nedir?" sorusu sorulduğunda insan, doğru yanıtın "aşı yaptırdı" olduğunu hemen anlar; oysa modelin neden-sonuç ilişkisini tahmin etmesi gerekmektedir[1].
  • MultiRC (Multi-Sentence Reading Comprehension): Çoktan seçmeli öğeler içeren çok cümleli metin anlama görevidir[1]. Model bir metin paragrafı, paragrafla ilgili bir soru ve olası yanıtların listesini alır; hangi yanıtların doğru olduğunu belirlemelidir (her soruda birden fazla doğru yanıt olabilir)[1]. Önemli bir özellik: soruyu yanıtlamak için genellikle metnin birden fazla cümlesindeki bilgilerin birleştirilmesi gerekir; bu da modelin bilgileri ilişkilendirme yeteneğini sınar[1]. Kalite iki ölçütle ölçülmektedir: yanıtlar üzerinden F1 (kısmen doğru kümeleri de hesaba katar) ve Exact Match — tüm yanıt kümesi eksiksiz biçimde doğru olan soru oranı[1].
  • ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): Okuduğunu anlama ve bilgi kullanma görevidir[1]. Değiştirilmiş bir Cloze testi niteliğindedir: bir haber metni (CNN/Daily Mail makalesi) ve içinde bir varlık adının boş bırakıldığı bir cümle verilir; model, metinden hangi varlığın boşluğa uyduğunu seçmelidir[1]. Yanıt seçenekleri makalede geçen tüm varlıklar olarak belirlenir ve bunlar özünde örtüşebilir[1]. Başarılı bir çözüm için bağlam anlayışı ve sağduyu gerekmektedir. Ölçütler; tahmin edilen yanıtlar üzerinden maksimum token düzeyinde F1 ve Exact Match'tir[1].
  • RTE (Recognizing Textual Entailment): Metinsel çıkarım (entailment - not entailment) için ikili sınıflandırma görevidir[1]. Veri kümesi, metinsel çıkarım tanıma üzerine düzenlenen çeşitli yarışmalardan (RTE 1–5 serisi) alınan örnekleri bir araya getirmektedir[1]. Her görev, bir premise-hypothesis metin çifti içermektedir; model hipotezin metinden çıkartılıp çıkartılamayacağını belirlemelidir. Pek çok büyük veri kümesinin aksine RTE oldukça küçüktür (yaklaşık 2.500 eğitim örneği), ancak transfer öğrenmeden kayda değer kazanım elde edildiği görülmüştür: doğruluk, rastgele tahmin düzeyi olan ~%56'dan BERT türü modellerin ortaya çıkmasıyla ~%86'ya yükselmiştir[1]. Bununla birlikte SuperGLUE'nun yayımlandığı dönemde modellerin doğruluğu insanınkinin yaklaşık 8 yüzde puan gerisinde kalmaktaydı[1]; bu nedenle RTE, insan düzeyine ulaşılamamış görevler arasında yer alarak benchmark'a dahil edilmiştir.
  • WiC (Word-in-Context): Bağlam içinde kelime anlamı belirsizliğini giderme (WSD) görevidir[1]. Birbirinden bağımsız iki cümle verilir; her ikisinde de aynı çok anlamlı kelime geçmektedir. Kelimenin her iki cümlede de aynı anlamda kullanılıp kullanılmadığının belirlenmesi gerekmektedir[1]. Veriler sözlük kaynaklarından (WordNet, VerbNet, Wiktionary) alındığından geniş bir kelime ve anlam yelpazesini kapsamaktadır[1]. Görev ikili sınıflandırma olarak kurgulanmış ve doğru yanıt oranıyla değerlendirilmektedir. WiC, modelden ince anlamsal ayrımları kavramasını beklemekte; özünde sözcüksel anlambilimi sınamaktadır.
  • WSC (Winograd Schema Challenge): Sağduyuyla eşgönderim çözümleme görevidir[1]. Her görev, bir zamir içeren tek bir cümleden ve o cümledeki iki varlık (isim) listesinden oluşmaktadır[1]. Söz konusu zamirin hangi isme atıfta bulunduğunun belirlenmesi gerekmektedir[1]. Klasik bir winograd cümlesi örneği: "Kupa bavula sığmadı çünkü o çok küçüktü" — insan, "o"nun bavula atıfta bulunduğunu (bavulun çok küçük olduğunu) hemen anlar. Bu tür örnekler gündelik bilgi ve bağlam olmadan çözülememektedir[1]. GLUE'da bu görevin basitleştirilmiş bir versiyonu (WNLI) zaten yer alıyordu; ancak modeller uzun süre boyunca orada rastgele tahmin düzeyini bile aşamadı[1]. Yalnızca benzer örnekler içeren harici veri eklenmesi gibi özel teknikler, WSC'de model kalitesini 2019 yılına kadar ~%90'a taşıyabildi[1]. Bununla birlikte insan, WSC görevlerini neredeyse hatasız çözmektedir (~%96-100 doğruluk)[1]. SuperGLUE'ya ikili sınıflandırma formatında WSC'nin özgün versiyonu dahil edilmiştir (her "zamir-varlık" çifti için model, bunların aynı göndergeye atıfta bulunup bulunmadığını yanıtlar)[1]. Bu görev, sağduyu akıl yürütmesi gerektiren en zorlu testlerden biri olmayı sürdürmektedir.

Tüm SuperGLUE testleri, geliştiricilerin yanıtlarını bilmediği kapalı test kümelerine sahiptir[1]. Modeller tahminlerini bir sunucuya gönderir; sunucu, görevler üzerinden ortalama alınan toplam puanı hesaplar (birden fazla ölçütü olan görevlerde önce iç ölçüt ortalaması alınır)[1]. Bu tek bir SuperGLUE skoru, modellerin genel dil zekâsı düzeyine göre karşılaştırılmasını kolaylaştırmaktadır.

Model Sonuçları ve İlerleme

SuperGLUE'nun yayımlanmasında yazarlar, güçlü bir temel model (geliştirilmiş BERT) için referans sonuçlar sundu — bunlar tüm görevlerde insan sonuçlarının belirgin biçimde altında kaldı[1]. O dönemin en iyi modeli bütünleşik ölçütte insandan yaklaşık 20 puan daha az aldı[1]. Bazı görevlerde uçurum özellikle büyüktü: örneğin WSC görevinde model zor bela ~%65 doğruluğa ulaşabilirken insanın doğruluğu %100'dür (yaklaşık 35 puanlık fark)[1]. "Görece kolay" görünen görevlerde bile (BoolQ, CB, RTE, WiC) otomatik sistemler insan düzeyinin ~10 puan gerisinde kaldı[1]. Bu farklar, SuperGLUE'nun gerçekten ciddi bir meydan okuma sunduğunu ve kolayca çözülemeyeceğini doğruladı.

Bununla birlikte SuperGLUE'nun ortaya çıkmasından yalnızca birkaç ay sonra hızlı bir ilerleme başladı[1]. 2019 sonunda Google araştırmacıları, 11 milyar parametreli T5 (Text-To-Text Transfer Transformer) modelini tanıttı; model 88,9 toplam puana ulaşarak insanın ~89,8 düzeyine yakından yaklaştı[2]. T5, SuperGLUE'daki önceki rekoru 4,3 puan birden iyileştirdi ve hata oranını neredeyse üçte bir oranında azaltarak insan puanına yalnızca 0,9 puanlık bir fark bıraktı[2][2]. Geliştiriciler, SuperGLUE'nun bilinçli olarak insanlar için kolay görevlerden oluşturulduğunu vurguladı; bu nedenle modelin ~%89 düzeyine ulaşması önemli bir kilometre taşı olarak değerlendirildi[2].

İnsanın ortalama kalitesini ilk aşan model ise Microsoft'un DeBERTa (Decoding-enhanced BERT with disentangled attention) modeli oldu[3]. Ocak 2021'de araştırmacılar, 1,5 milyar parametreli DeBERTa sürümünün insan referansı olan 89,8'in hemen üstünde 89,9 puan aldığını duyurdu[3]. Bu, tek bir modelin SuperGLUE ölçütünde insanı geride bıraktığı ilk durumdu[3]. Üstelik birkaç DeBERTa modelinden oluşan bir topluluk, rekoru ~90,3 puana taşıdı[3]. DeBERTa, önceki lider Google T5'i yaklaşık %0,6 oranında geride bırakarak Transformer mimarisindeki yeni fikirlerin (içerik ile sözcük konumunun ayrık temsili, iyileştirilmiş maske kod çözücüsü vb.) etkinliğini ortaya koydu[4].

İlerleme burada durmadı: dil modellerinin boyutu ve karmaşıklığı arttıkça SuperGLUE sonuçları iyileşmeye devam etti[5]. 2021 sonunda liderboard'un zirvesinde Microsoft'un T-NLRv5 modeli (Microsoft Turing NLR ailesi) yer aldı; model insan düzeyinin üzerindeki farkı daha da genişletti[5]. GLUE'da makineler için hâlâ çözülmemiş olan son görevler (örneğin NLI incelikleri) bu model tarafından "kapatıldı" ve en zorlu alt görevlerde bile insanla tam parite sınırına yaklaşıldı[5].

2022–2023 yılları itibarıyla SuperGLUE'da insan düzeyi eşiği birbirinden bağımsız birçok büyük model tarafından güvenle aşıldı[6]. Örneğin Google'ın PaLM modeli (540 milyar parametre), SuperGLUE görevleri üzerinde ince ayar yapıldığında yaklaşık 90,4 puana ulaştı; OpenAI'ın geliştirdiği GPT-4 modeli ise biraz daha yüksek bir sonuç elde etti[6]. 2023 ortasında SuperGLUE lider tablosunda 90'ın üzerinde puan alan (yani ortalama insan düzeyini aşan) birkaç model bulunmaktaydı[6]. Benchmark'ın günümüz sistemleri tarafından neredeyse tamamen çözüldüğünü söylemek mümkündür[6]: en iyi modellerin puanları, uzman olmayan bireylerin büyük çoğunluğunun kapasitesini aşacak kadar yüksektir[6]. Bu başarı, NLP alanında kısa sürede gerçekleşen devasa ilerlemenin göstergesidir; ancak aynı zamanda en yeni modeller için daha zorlu yeni testlerin gerekliliğine de işaret etmektedir[6]. Modelleri SuperGLUE kapsamının ötesinde daha geniş bir anlama ve bilgi derinliği açısından sınamayı amaçlayan sonraki benchmark'lar (örneğin MMLU, BIG-Bench ve diğerleri) hâlihazırda ortaya çıkmaktadır[6].

Etki ve Sonraki Araştırmalar

SuperGLUE, dil işleme alanında değerlendirme metodolojisinin gelişiminde önemli bir aşama olarak yerini almıştır[3]. Akademik ve tutkulu araştırmacı çevrelerinde sonuçları, yeni BDM mimarileri için bir tür "turnusol testi" işlevi görmektedir: SuperGLUE'da insan düzeyine ulaşmak ya da onu aşmak, derin dil anlayışına sahip ileri düzey bir modelin göstergesi olarak algılanmaktadır[3]. Bu durum pratiğe de yansımıştır — SuperGLUE'da yüksek sonuçlar elde eden pek çok modern dil modeli, soru yanıtlama, diyalog ajanları, metin özetleme ve benzeri uygulama sistemlerinin temelini oluşturmaktadır[3]. SuperGLUE, algoritmaların fine-tuning ve karşılaştırılması amacıyla araştırmacılar tarafından kullanılmaya devam etmektedir; ancak öncü konum artık yavaş yavaş yapay zekâ değerlendirmesinin yeni sınırlarına doğru kaymaktadır.

Literatür

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Kaynakça

  • SuperGLUE resmi sitesi
  • Özgün SuperGLUE makalesi (NeurIPS)
  • DeBERTa ile insan düzeyine ulaşıldığına dair Microsoft makalesi
  • Papers With Code'da SuperGLUE veri kümesi sayfası

Notlar

[1] [2] [3] [4] [5] [6] </references>

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 Wang, Alex et al. (2019). «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». NeurIPS. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». Reddit /r/linguistics. [2]
  3. ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 «Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark». Microsoft Research Blog. [3]
  4. ↑ 4.0 4.1 «Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark». Synced Review. [4]
  5. ↑ 5.0 5.1 5.2 5.3 «Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE». Microsoft Research Blog. [5]
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 6.7 «The Ultimate Guide to AI Benchmarks». The AI Navigator. [6]
Retrieved from "https://systems-analysis.ru/int/index.php?title=SuperGLUE_(benchmark)_(TR)&oldid=28069"