Büyük Modeller

Neden bu grup?

KAI Büyük Model'in sınıf puanı (14B, 32B) yalnız o sınıfın hem işlemci hem GPU parçaları varsa verilir; tek parça ayrı gösterilir ve KAI Büyük Model'e girmez. "Sığan en büyük model" ayrıca yazılır. Büyük model turu 4.0'da henüz koşulmadı; bugünkü veri 3.3 turlarındandır.

Donanım katmanı. Aynı baytlar, aynı algoritma, aynı kaynak kod (kai-core) ya da aynı GPU çekirdeği Metal'de ve Vulkan'da; aynı garanti. KAI Donanım ve sekiz donanım bloğu bu katmandan hesaplanır. Kabul edilen istisna NPU ve GPU problarıdır: Neural Engine'e Core ML'den, NPU'ya LiteRT ya da ONNX Runtime'dan başka yol yoktur.

Üretici katmanı. Üreticinin ya da platformun en hızlı motoru: Apple'da MPS, Accelerate, MLX, Core ML, ProRes; Windows'ta CUDA, cuBLAS, TensorRT, oneMKL. Puan: KAI Üretici. Süit üyesi olan üretici testleri her platformda aynı işi yapar ve süitlerde platformlar arası karşılaştırılır.

Testler

Ön Doldurma (CPU) — Qwen3 14Bllm.large.cpu.prefill.llmLarge14 Bu test yalnız işlemciyle çalışan büyük bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Ön doldurma hızıtoken/sn · Donanım → Token Üretimi (CPU) — Qwen3 14Bllm.large.cpu.decode.llmLarge14 Bu test yalnız işlemciyle çalışan büyük bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Üretim hızıtoken/sn · Donanım → İlk Yanıt · Uzun Belge (CPU) — Qwen3 14Bllm.large.cpu.firstresponse.long.llmLarge14 Bu test yalnız işlemciyle çalışan büyük bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Donanım → Ön Doldurma (CPU) — Qwen3 32Bllm.large.cpu.prefill.llmLarge32 Bu test yalnız işlemciyle çalışan çok büyük bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Ön doldurma hızıtoken/sn · Donanım → Token Üretimi (CPU) — Qwen3 32Bllm.large.cpu.decode.llmLarge32 Bu test yalnız işlemciyle çalışan çok büyük bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Üretim hızıtoken/sn · Donanım → İlk Yanıt · Uzun Belge (CPU) — Qwen3 32Bllm.large.cpu.firstresponse.long.llmLarge32 Bu test yalnız işlemciyle çalışan çok büyük bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Donanım → Ön Doldurma (MLX / GPU) — Qwen3 14Bllm.large.mlx.prefill.llmLarge14 Bu test cihazın kendi yapay zekâ yazılımıyla çalışan büyük bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Ön doldurma hızıtoken/sn · Üretici → Token Üretimi (MLX / GPU) — Qwen3 14Bllm.large.mlx.decode.llmLarge14 Bu test cihazın kendi yapay zekâ yazılımıyla çalışan büyük bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Üretim hızıtoken/sn · Üretici → İlk Yanıt · Uzun Belge (MLX / GPU) — Qwen3 14Bllm.large.mlx.firstresponse.long.llmLarge14 Bu test cihazın kendi yapay zekâ yazılımıyla çalışan büyük bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Üretici → Ön Doldurma (MLX / GPU) — Qwen3 32Bllm.large.mlx.prefill.llmLarge32 Bu test cihazın kendi yapay zekâ yazılımıyla çalışan çok büyük bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Ön doldurma hızıtoken/sn · Üretici → Token Üretimi (MLX / GPU) — Qwen3 32Bllm.large.mlx.decode.llmLarge32 Bu test cihazın kendi yapay zekâ yazılımıyla çalışan çok büyük bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Üretim hızıtoken/sn · Üretici → İlk Yanıt · Uzun Belge (MLX / GPU) — Qwen3 32Bllm.large.mlx.firstresponse.long.llmLarge32 Bu test cihazın kendi yapay zekâ yazılımıyla çalışan çok büyük bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). İlk yanıtms · Üretici →