ToplayoKARŞILAŞTIRMA LABORATUVARI

Ölçüm

Yöntem Puanlar Cihaz karnesi Testler Videolar Karşılaştırma Uygulama Destek

Dil Modeli

Ön doldurma, üretim, toplu üretim ve ilk yanıt (CPU ve GPU)

Aynı Qwen3 1.7B ve 4B modelleri iki yolla koşar: llama.cpp ile yalnız işlemcide (donanım katmanı) ve cihazın en hızlı GPU yolunda (Apple'da llama.cpp Metal, Windows'ta llama.cpp CUDA ya da Vulkan; üretici katmanı). 4.0 r6'dan beri iki yol da her platformda aynı GGUF Q4_0 dosyalarını koşar; MLX yolu uygulamada durur, puan üretmez. Ön doldurma ile token üretimi ayrı ölçülür; biri hesaplama, öteki bellek bant genişliği sınırlıdır.

KatmanÜretici, Donanım, PlatformTurstandartTest31 (24 puanlı)

Testlerin kendi çıktılarından

Neden bu grup?

Altı işlemci testi KAI Donanım'ın Dil modeli (CPU) bloğunu oluşturur; kısa soruya işlemcide ilk yanıt Tepkisellik bloğundadır. GPU yolundaki testler LLM süitini, uzun belgeye ilk yanıt AI Creator'ı, küçük modelle kısa soru Gündelik'i besler. Gömme Ofis ve LLM'dedir. Sistem modeli (Apple Intelligence) ve bağlam kapasitesi testleri bilgi amaçlıdır.

Üretici katmanı. Üreticinin ya da platformun en hızlı motoru: Apple'da MPS, Accelerate, MLX, Core ML, ProRes; Windows'ta CUDA, cuBLAS, TensorRT, oneMKL. Puan: KAI Üretici. Süit üyesi olan üretici testleri her platformda aynı işi yapar ve süitlerde platformlar arası karşılaştırılır.

Donanım katmanı. Aynı baytlar, aynı algoritma, aynı kaynak kod (kai-core) ya da aynı GPU çekirdeği Metal'de ve Vulkan'da; aynı garanti. KAI Donanım ve sekiz donanım bloğu bu katmandan hesaplanır. Kabul edilen istisna NPU ve GPU problarıdır: Neural Engine'e Core ML'den, NPU'ya LiteRT ya da ONNX Runtime'dan başka yol yoktur.

Platform katmanı. İşletim sisteminin kendi yazılımı: Apple'da Vision, SpeechAnalyzer, ImageIO, PDFKit, WebKit; Windows'ta Windows.Media.Ocr, WIC, Windows.Data.Pdf, WebView2. Puan: KAI Platform. Süit üyesi olan platform testleri aynı işi ve aynı çıktı kapısını taşır.

Testler

Ön Doldurma (CPU) — Qwen3 1.7Bllm.cpu.prefill.llmCompact Bu test yalnız işlemciyle çalışan küçük bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Ön doldurma hızıtoken/sn · Donanım → Token Üretimi (CPU) — Qwen3 1.7Bllm.cpu.decode.llmCompact Bu test yalnız işlemciyle çalışan küçük bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Üretim hızıtoken/sn · Donanım → Uzun Bağlamda Üretim (CPU) — Qwen3 1.7Bllm.cpu.longcontext.llmCompact Bu test yalnız işlemciyle çalışan küçük bir dil modelinin uzun bir sohbetin ardından yanıt yazma hızını ölçer (sohbet uzadıkça yavaşlama gibi). Uzun bağlam hızıtoken/sn · Donanım → Toplu Üretim (CPU) — Qwen3 1.7Bllm.cpu.batch.llmCompact Bu test yalnız işlemciyle çalışan küçük bir dil modelinin aynı anda birkaç isteğe yanıt yazarken ulaştığı toplam hızı ölçer (birden çok sohbet, toplu metin işleme gibi). Toplam üretim hızıtoken/sn · Donanım → Ön Doldurma (CPU) — Qwen3 4Bllm.cpu.prefill.llmStandard Bu test yalnız işlemciyle çalışan orta boy bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Ön doldurma hızıtoken/sn · Donanım → Token Üretimi (CPU) — Qwen3 4Bllm.cpu.decode.llmStandard Bu test yalnız işlemciyle çalışan orta boy bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Üretim hızıtoken/sn · Donanım → İlk Yanıt · Kısa Soru (CPU) — Qwen3 1.7Bllm.cpu.firstresponse.short.llmCompact Bu test yalnız işlemciyle çalışan küçük bir dil modelinin kısa bir soruya ilk yanıtının ne kadar sürede başladığını ölçer (yardımcıya soru sormak gibi). İlk yanıtms · Donanım → İlk Yanıt · Uzun Belge (CPU) — Qwen3 1.7Bllm.cpu.firstresponse.long.llmCompact Bu test yalnız işlemciyle çalışan küçük bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Donanım → İlk Yanıt · Soğuk Başlangıç (CPU) — Qwen3 1.7Bllm.cpu.firstresponse.cold.llmCompact Bu test yalnız işlemciyle çalışan küçük bir dil modelinin henüz açılmamışken ilk yanıtının ne kadar sürede geldiğini ölçer (yapay zekâ özelliğini günün ilk kullanımı gibi). İlk yanıtms · Donanım → İlk Yanıt · Kısa Soru (CPU) — Qwen3 4Bllm.cpu.firstresponse.short.llmStandard Bu test yalnız işlemciyle çalışan orta boy bir dil modelinin kısa bir soruya ilk yanıtının ne kadar sürede başladığını ölçer (yardımcıya soru sormak gibi). İlk yanıtms · Donanım → İlk Yanıt · Uzun Belge (CPU) — Qwen3 4Bllm.cpu.firstresponse.long.llmStandard Bu test yalnız işlemciyle çalışan orta boy bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Donanım → İlk Yanıt · Soğuk Başlangıç (CPU) — Qwen3 4Bllm.cpu.firstresponse.cold.llmStandard Bu test yalnız işlemciyle çalışan orta boy bir dil modelinin henüz açılmamışken ilk yanıtının ne kadar sürede geldiğini ölçer (yapay zekâ özelliğini günün ilk kullanımı gibi). İlk yanıtms · Donanım → Ön Doldurma (GPU) — Qwen3 1.7Bllm.prefill.llmCompact Bu test cihazın kendi yapay zekâ yazılımıyla çalışan küçük bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Ön doldurma hızıtoken/sn · Üretici → Ön Doldurma (GPU) — Qwen3 4Bllm.prefill.llmStandard Bu test cihazın kendi yapay zekâ yazılımıyla çalışan orta boy bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Ön doldurma hızıtoken/sn · Üretici → Token Üretimi (GPU) — Qwen3 1.7Bllm.decode.llmCompact Bu test cihazın kendi yapay zekâ yazılımıyla çalışan küçük bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Üretim hızıtoken/sn · Üretici → Token Üretimi (GPU) — Qwen3 4Bllm.decode.llmStandard Bu test cihazın kendi yapay zekâ yazılımıyla çalışan orta boy bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Üretim hızıtoken/sn · Üretici → Uzun Bağlamda Üretim (GPU) — Qwen3 1.7Bllm.longcontext.llmCompact Bu test cihazın kendi yapay zekâ yazılımıyla çalışan küçük bir dil modelinin uzun bir sohbetin ardından yanıt yazma hızını ölçer (sohbet uzadıkça yavaşlama gibi). Uzun bağlam hızıtoken/sn · Üretici → İlk Yanıt · Kısa Soru (GPU) — Qwen3 1.7Bllm.firstresponse.short.llmCompact Bu test cihazın kendi yapay zekâ yazılımıyla çalışan küçük bir dil modelinin kısa bir soruya ilk yanıtının ne kadar sürede başladığını ölçer (yardımcıya soru sormak gibi). İlk yanıtms · Üretici → İlk Yanıt · Uzun Belge (GPU) — Qwen3 1.7Bllm.firstresponse.long.llmCompact Bu test cihazın kendi yapay zekâ yazılımıyla çalışan küçük bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Üretici → İlk Yanıt · Soğuk Başlangıç (GPU) — Qwen3 1.7Bllm.firstresponse.cold.llmCompact Bu test cihazın kendi yapay zekâ yazılımıyla çalışan küçük bir dil modelinin henüz açılmamışken ilk yanıtının ne kadar sürede geldiğini ölçer (yapay zekâ özelliğini günün ilk kullanımı gibi). İlk yanıtms · Üretici → İlk Yanıt · Kısa Soru (GPU) — Qwen3 4Bllm.firstresponse.short.llmStandard Bu test cihazın kendi yapay zekâ yazılımıyla çalışan orta boy bir dil modelinin kısa bir soruya ilk yanıtının ne kadar sürede başladığını ölçer (yardımcıya soru sormak gibi). İlk yanıtms · Üretici → İlk Yanıt · Uzun Belge (GPU) — Qwen3 4Bllm.firstresponse.long.llmStandard Bu test cihazın kendi yapay zekâ yazılımıyla çalışan orta boy bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Üretici → İlk Yanıt · Soğuk Başlangıç (GPU) — Qwen3 4Bllm.firstresponse.cold.llmStandard Bu test cihazın kendi yapay zekâ yazılımıyla çalışan orta boy bir dil modelinin henüz açılmamışken ilk yanıtının ne kadar sürede geldiğini ölçer (yapay zekâ özelliğini günün ilk kullanımı gibi). İlk yanıtms · Üretici → Bağlam Kapasitesi — Qwen3 1.7Bllm.contextcapacity.llmCompact Bu test cihazın bir dil modeline en çok ne kadar uzun metin verebildiğini ölçer (çok uzun belgeler ve sohbetler gibi). En uzun bağlambin token · Üretici · bilgi → Spekülatif Çözümlemellm.speculative Bu test küçük bir modelin taslak yazıp büyük modelin onayladığı hızlandırma yönteminin kazancını ölçer (aynı yanıtı daha kısa sürede almak gibi). Hızlanma× · Üretici · bilgi → Gömme ve Vektör Aramallm.embedding Bu test metinleri anlamına göre aranabilir hâle getirme hızını ölçer (notlarda ve belgelerde anlamca arama gibi). Tek akış hızıcümle/sn · Platform → Sistem Modeli Üretimillm.foundation.decode Bu test işletim sisteminin kendi dil modelinin yanıt yazma hızını ölçer (yazı önerileri, özetleme, akıllı yanıtlar gibi). Üretim hızıtoken/sn · Platform · bilgi → Yapılandırılmış Üretimllm.foundation.structured Bu test işletim sisteminin kendi dil modelinin form gibi düzenli yanıt üretme hızını ölçer (uygulamaların modelden hazır bilgi alması gibi). İstek hızıistek/sn · Platform · bilgi → Sistem Modeli İlk Yanıt · Kısa Sorullm.foundation.firstresponse.short Bu test işletim sisteminin kendi dil modelinin kısa bir soruya ilk yanıtının ne kadar sürede başladığını ölçer (yardımcıya soru sormak gibi). İlk yanıtms · Platform · bilgi → Sistem Modeli İlk Yanıt · Uzun Belgellm.foundation.firstresponse.long Bu test işletim sisteminin kendi dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Platform · bilgi → Bağlam Kapasitesi (GPU) — Qwen3 4Bllm.contextcapacity.llmStandard Bu test cihazın orta boy bir dil modeline en çok ne kadar uzun metin verebildiğini ölçer (çok uzun belgeler ve sohbetler gibi). En uzun bağlambin token · Üretici · bilgi →