Eşzamanlı Dil Modeli Sunumu
Bu test bir dil modelinin aynı anda çok sayıda kullanıcıya yanıt yazarken ulaştığı toplam hızı ölçer (bir ekip ya da müşteriler için sohbet hizmeti gibi). Sunucu ve iş istasyonu kullananlar için önemlidir.
GrupSunucuKatmanSunucuSüitİş İstasyonu, LLMMetrikToplam üretim hızı (token/sn)Referans60 token/sn · kestirimÖrnek3Turstandart ve sunucuPuanpuana girer
Nasıl ölçülür?
- Qwen3 1.7B; oturum sayısı 1'den 64'e çıkar, ortanca düşünce durur; 2 saniyelik pencere; iş parçacığı adayları 16, 24, 32 ve tüm hızlı çekirdekler.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | llama.cpp CPU v0.5.0 | ölçüldü · 1 cihaz |
| Mac | llama.cpp CPU v0.5.0 | ölçüldü · 9 cihaz |
| Windows | llama.cpp CPU v0.6.0 | ölçüldü · 6 cihaz |
| Android | llama.cpp CPU v0.6.0 | yalnız ön deneme turunda (Android 4.0 ölçümleri ertelendi) |
Hangi puana girer?
- İş İstasyonu süitinin 13 üyesinden biridir: ağırlık 1 / 13 (süit puanındaki payı %7,7). Süit yalnız bütün üyeleri varsa verilir; bu test eksikse ya da "tamam" değilse İş İstasyonu ve KAI Benchmark Skoru verilmez. Süit sayfası.
- LLM süitinin 9 üyesinden biridir: ağırlık 1 / 9 (süit puanındaki payı %11,1). Süit yalnız bütün üyeleri varsa verilir; bu test eksikse ya da "tamam" değilse LLM ve KAI Benchmark Skoru verilmez. Süit sayfası.
- Sunucu turunda KAI Sunucu'nun beş üyesinden biridir; 4.0'dan beri standart turda da koşar.
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 60 token/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. iPhone ve iPad, Mac, Windows, Android.