Token Üretimi (GPU) — Qwen3 4B
Bu test cihazın kendi yapay zekâ yazılımıyla çalışan orta boy bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Yapay zekâ uygulamaları için önemlidir.
GrupDil ModeliKatmanÜreticiSüitLLMMetrikÜretim hızı (token/sn)Referans19 token/snÖrnek3TurstandartBellek3.600 MBPuanpuana girer
Nasıl ölçülür?
- 256 token üretim, 5 ölçüm.
- Her platformda aynı ağırlık dosyası: Qwen3'ün GGUF Q4_0 nicemlemesi, llama.cpp ile GPU'da (4.0 r6). Apple'da llama.cpp'nin Metal arka ucu, Windows'ta CUDA ya da Vulkan, Android'de Vulkan. Önceki revizyonlarda Apple aynı modelin 4 bitlik MLX nicemlemesini koşuyordu; MLX yolu uygulamada durur, puanlı kimlik üretmez.
- Arka uçlar aynı işle yarışır, kazanan o işte kullanılır: Apple'da Metal ile işlemci, Windows'ta CUDA ile Vulkan; ilk yanıtın soğuk başlangıcı (yükleme ağırlıklı) kendi işiyle ayrıca yarışır. Yalnız işlemciyle koşan yol ayrı testtir (llm.cpu.*) ve bu yarışın sonucu ne olursa olsun kendi bloğunda kalır.
- Tekrar sayıları her platformda aynıdır: ön doldurma, üretim ve uzun bağlamda 5 ölçüm; ilk yanıtta kısa soru 10, uzun belge 5, soğuk başlangıç 5 + 1 tekrar.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | llama.cpp Metal v0.5.0 | ölçüldü · 1 cihaz |
| Mac | llama.cpp Metal v0.5.0 MLX | ölçüldü · 5 cihaz |
| Windows | llama.cpp CUDA v0.6.0 | ölçüldü · 3 cihaz |
| Android | llama.cpp CPU v0.6.0 | yalnız ön deneme turunda (Android 4.0 ölçümleri ertelendi) |
Hangi puana girer?
- LLM süitinin 9 üyesinden biridir: ağırlık 1 / 9 (süit puanındaki payı %11,1). Süit yalnız bütün üyeleri varsa verilir; bu test eksikse ya da "tamam" değilse LLM ve KAI Benchmark Skoru verilmez. Süit sayfası.
- Üretici katmanındadır: KAI Üretici'ye girer.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 3.3 R6 | Windows: CUDA ile Vulkan model başına yarışır, kazanan GPU testlerinde kullanılır (önce yalnız CUDA). |
| 4.0 | Windows bu kimlikleri Mac'in MLX testleriyle aynı işte koşar; adı platformda "(GPU)" diye geçer. |
| 4.0 r6 | Apple ve Android: MLX 4 bit yerine Windows'la aynı GGUF Q4_0 dosyaları, llama.cpp Metal (Apple) arka ucunda; Metal/CPU yarışı Windows'un CUDA/Vulkan yarışıyla aynı kural. Tekrar sayıları her platformda eşitlendi. Sütun adları Windows'unkilerle aynı ("… (GPU) — Qwen3 4B (GGUF Q4_0)"). Büyük model katmanı (llm.large.mlx.*) değişmedi. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 19 token/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder.
Platform. iPhone ve iPad, Mac, Windows, Android.