Eşzamanlı Dil Modeli Sunumu · Büyük
Bu test bir dil modelinin aynı anda çok sayıda kullanıcıya yanıt yazarken ulaştığı toplam hızı ölçer (bir ekip ya da müşteriler için sohbet hizmeti gibi). Bu, işin iş istasyonu ölçeğindeki hâlidir; yalnız en az 32 GB belleği olan cihazlarda çalışır.
GrupSunucuKatmanSunucuMetrikToplam üretim hızı (token/sn)Referans68 token/sn · kestirimÖrnek3TursunucuBellek32.768 MBPuanpuana girer
Nasıl ölçülür?
- Qwen3 4B; oturum sayısı 8'den 128'e.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| Mac | llama.cpp CPU v0.5.0 | ölçüldü · 3 cihaz |
| Windows | llama.cpp CPU v0.6.0 | ölçüldü · 2 cihaz |
Hangi puana girer?
- Hiçbir süitte değildir: sunucu turunda koştuğu için süitlere girmez. KAI Benchmark Skoru'na katkısı yoktur.
- Sunucu turunda koşar: KAI Sunucu · Büyük'ün beş üyesinden biridir; biri eksikse verilmez.
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 68 token/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. Mac, Windows.