İlk Yanıt · Soğuk Başlangıç (GPU) — Qwen3 4B
Bu test cihazın kendi yapay zekâ yazılımıyla çalışan orta boy bir dil modelinin henüz açılmamışken ilk yanıtının ne kadar sürede geldiğini ölçer (yapay zekâ özelliğini günün ilk kullanımı gibi). Yapay zekâ uygulamaları için önemlidir. Düşük olan iyidir.
GrupDil ModeliKatmanÜreticiMetrikİlk yanıt (ms) · düşük iyiReferans5 100 ms · kestirimÖrnek1 + 5TurstandartBellek3.600 MBPuanpuana girer
Nasıl ölçülür?
- Model yükleme dahil; ilk tekrar bilgi amaçlı, ardından 5 ılık tekrar.
- Her platformda aynı ağırlık dosyası: Qwen3'ün GGUF Q4_0 nicemlemesi, llama.cpp ile GPU'da (4.0 r6). Apple'da llama.cpp'nin Metal arka ucu, Windows'ta CUDA ya da Vulkan, Android'de Vulkan. Önceki revizyonlarda Apple aynı modelin 4 bitlik MLX nicemlemesini koşuyordu; MLX yolu uygulamada durur, puanlı kimlik üretmez.
- Arka uçlar aynı işle yarışır, kazanan o işte kullanılır: Apple'da Metal ile işlemci, Windows'ta CUDA ile Vulkan; ilk yanıtın soğuk başlangıcı (yükleme ağırlıklı) kendi işiyle ayrıca yarışır. Yalnız işlemciyle koşan yol ayrı testtir (llm.cpu.*) ve bu yarışın sonucu ne olursa olsun kendi bloğunda kalır.
- Tekrar sayıları her platformda aynıdır: ön doldurma, üretim ve uzun bağlamda 5 ölçüm; ilk yanıtta kısa soru 10, uzun belge 5, soğuk başlangıç 5 + 1 tekrar.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | — | Bu model için yeterli bellek yok: 3.0 GB gerekli, 1.4 GB boş |
| Mac | llama.cpp Metal v0.5.0 MLX | ölçüldü · 5 cihaz |
| Windows | llama.cpp CUDA v0.6.0 | ölçüldü · 3 cihaz |
| Android | llama.cpp CPU v0.6.0 | yalnız ön deneme turunda (Android 4.0 ölçümleri ertelendi) |
Hangi puana girer?
- Hiçbir süitte değildir: süit tanımında yer almaz. KAI Benchmark Skoru'na katkısı yoktur.
- Üretici katmanındadır: KAI Üretici'ye girer.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 3.3 R6 | Windows: CUDA ile Vulkan model başına yarışır, kazanan GPU testlerinde kullanılır (önce yalnız CUDA). |
| 4.0 | Windows bu kimlikleri Mac'in MLX testleriyle aynı işte koşar; adı platformda "(GPU)" diye geçer. |
| 4.0 r6 | Apple ve Android: MLX 4 bit yerine Windows'la aynı GGUF Q4_0 dosyaları, llama.cpp Metal (Apple) arka ucunda; Metal/CPU yarışı Windows'un CUDA/Vulkan yarışıyla aynı kural. Tekrar sayıları her platformda eşitlendi. Sütun adları Windows'unkilerle aynı ("… (GPU) — Qwen3 4B (GGUF Q4_0)"). Büyük model katmanı (llm.large.mlx.*) değişmedi. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000; küçük değer iyi olduğu için oran ters çevrilir (referans ÷ ölçülen × 1000). Referans değer 5 100 ms; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. Mac, Windows, Android.