SemiAnalysis GDPx testini yayımladı, zirvedeki Claude Opus 5.5 yalnızca yüzde 12 aldı

GDPx hangi alanları ölçüyor

Testin kapsadığı 11 alan çip tasarımı, siber güvenlik, biyoloji, finans, hukuk, kantitatif alım satım, donanım tasarımı, malzeme bilimi, hizalama, yazılım mühendisliği ve özyinelemeli kendini geliştirme (RSI). SemiAnalysis'in GDPx değerlendirme yazısına göre alanlar GSYH payına göre seçilmedi. Kamu, gayrimenkul ve sigorta gibi sektörler bilerek dışarıda bırakıldı.

Her alanın görevleri, pekiştirmeli öğrenme ortamları geliştiren uzman ortaklarla hazırlandı. Testte 14 veri ortağından gelen toplam 206 görev bulunuyor. Görevler tek bir istemle değil, gerçeğe yakın çalışma ortamlarında çözülüyor. Finans için yaklaşık 4.000 dosyalık bir şirket satın alma veri odası, siber güvenlik için canlı kurumsal servisler kuruldu. Her görevde varsayılan süre sınırı 8 saat.

Modeller, mümkün olduğunda kendi geliştiricisinin araçlarında yapay zeka ajanı olarak çalıştırıldı. Claude Opus 5.5 Claude Code, GPT-6 Astra ise Codex üzerinden test edildi. Ana puan üç denemenin ortalamasıyla hesaplanıyor. Her alan genel puanda eşit ağırlık taşıyor.

Claude Opus 5.5 ilk sırada

GDPx sitesindeki genel sıralamanın ilk beşi şöyle:

• Claude Opus 5.5: 12,0
• Gemini 4 Carbon: 10,9
• GPT-6 Astra: 9,6
• Muse Wonder Full: 9,0
• Claude Fable 5.1: 8,5

SemiAnalysis, Opus 5.5'i genel olarak en başarılı model diye niteliyor. Model kantitatif alım satım, donanım tasarımı ve çip tasarımında önde. GPT-6 Astra özyinelemeli kendini geliştirme ile malzeme biliminde, Gemini 4 Carbon biyolojide birinci oldu. Siber güvenlikte en iyi sonucu belirgin farkla Muse Wonder Full verdi.

Şirkete göre Opus 5.5 ile GPT-6 Astra'nın puanı siber güvenlik, biyoloji ve hizalama alanlarında güvenlik sınıflandırıcıları yüzünden düştü. Finans ve hukuk görevlerinde neredeyse bütün modeller başarılı ya da başarısız puanlamasında sıfır aldı. Sıralamada bu iki alan için kısmi puan ortalaması kullanıldı. Hukukta bir Seri B yatırım belgesi üzerinde değişiklik işaretleme görevinde Opus 5.5 ortalama yüzde 44 kısmi puana ulaştı.

Sonuçlar neyi gösteriyor

Testteki örnekler, modellerin uzun ve çok adımlı profesyonel işlerde zorlandığını gösteriyor. Yazılım mühendisliğinde Datacurve'ün herkese açık görevinde beş modelin 25 denemesinin hiçbiri başarılı olmadı. Hizalama alanında Fleet'in siber güvenlik görevlerindeki 200 denemenin yüzde 98'i en az bir davranış kuralını ihlal etti.

SemiAnalysis, testini OpenAI'ın GDPval ölçütünden ayırıyor. Şirkete göre GDPval etkileşimsiz çalışıyor ve gereken bütün bağlamı doğrudan isteme veriyor. GDPx'te ise model bilgiyi ortamın içinde kendisi bulmak zorunda.

Genel sıralama ve görev ayrıntıları gdpx.semianalysis.com adresinden incelenebiliyor. Değerlendirme yazısının bir bölümü yalnızca ücretli abonelere açık. Şirket, testin yeni sürümlerini üç ila altı ayda bir yayımlamayı planlıyor. Sıralamadaki modelleri tanımak için en iyi yapay zeka ve Claude rehberlerine bakılabilir.