Toplu Üretim (CPU) — Qwen3 1.7B
Bu test yalnız işlemciyle çalışan küçük bir dil modelinin aynı anda birkaç isteğe yanıt yazarken ulaştığı toplam hızı ölçer (birden çok sohbet, toplu metin işleme gibi). Yapay zekâ uygulamaları için önemlidir.
GrupDil ModeliKatmanDonanımBlokDil modeli (CPU)MetrikToplam üretim hızı (token/sn)Referans60 token/sn · kestirimÖrnek3 × düzeyTurstandartBellek2.000 MBPuanpuana girer
Nasıl ölçülür?
- Tek bağlamda 1, 2, 4 ve 8 eşzamanlı oturum, oturum başına 147 tokenlık istem. Ortak ön doldurmadan sonra her adımda her oturumdan bir token, 2,0 saniyelik pencere boyunca.
- Belleğe sığan bütün düzeyler ölçülür, düzey başına 3 tekrar; puan en iyi düzeydir. Örnek: iPhone 16 Pro Max'te 1, 2, 4, 8 oturum için 41, 42, 76 ve 79 token/sn.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | llama.cpp CPU v0.5.0 | ölçüldü · 1 cihaz |
| Mac | llama.cpp CPU v0.5.0 | ölçüldü · 5 cihaz |
| Windows | llama.cpp CPU v0.6.0 | ölçüldü · 3 cihaz |
| Android | llama.cpp CPU v0.6.0 | yalnız ön deneme turunda (Android 4.0 ölçümleri ertelendi) |
Hangi puana girer?
- Hiçbir süitte değildir: adı bir birimi ölçtüğü için süitlere girmez (birim adlı testler kendi biriminde kalır). KAI Benchmark Skoru'na katkısı yoktur.
- Donanım katmanındadır ve KAI Donanım'ın Dil modeli (CPU) bloğunun 6 üyesinden biridir (blok ağırlığı 1,0). Bu test eksikse ya da "tamam" değilse blok verilmez; blok verilmezse KAI Donanım da verilmez. KAI Donanım.
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 60 token/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. iPhone ve iPad, Mac, Windows, Android.