Token Üretimi (CPU) — Qwen3 32B
Bu test yalnız işlemciyle çalışan çok büyük bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Yapay zekâ uygulamaları için önemlidir. Yalnız en az 64 GB belleği olan cihazlarda çalışır.
GrupBüyük ModellerKatmanDonanımMetrikÜretim hızı (token/sn)Referans1,5 token/sn · kestirimÖrnek3Turbüyük modellerBellek65.536 MBPuanpuana girer
Nasıl ölçülür?
- Qwen3 32B, GGUF Q4_0, yaklaşık 18,7 GB. Üretim hızı bellek bant genişliğiyle sınırlıdır: her token için bütün ağırlıklar okunur.
- Windows'ta aynı GGUF dosyası llama.cpp ile CPU'da. Bellek kapısı: sınıfın eşiği (14B ≥ 22 GiB, 32B ≥ 60 GiB) işletim sisteminin gördüğü fiziksel belleğe karşı.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| Mac | llama.cpp CPU v0.5.0 | ölçüldü · 1 cihaz |
| Windows | llama.cpp CPU v0.6.0 | ölçüldü · 2 cihaz |
Hangi puana girer?
- Hiçbir süitte değildir: büyük modeller turunda koştuğu için süitlere girmez. KAI Benchmark Skoru'na katkısı yoktur.
- Büyük modeller turunda koşar: KAI Büyük Model'e girer. Bir sınıfın (14B, 32B) puanı yalnız hem işlemci hem GPU parçaları varsa verilir; tek parça ayrı gösterilir.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 3.3 R9 | Windows büyük model turu. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 1,5 token/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. Mac, Windows.