LLM süiti

Nasıl hesaplanır?

Her üye kendi puanını alır: ölçülen değer referansa bölünür ve 1000 ile çarpılır; küçük değerin iyi olduğu metriklerde (süre, gecikme) oran ters çevrilir. 1000 puan iPhone 15 Pro sınıfı referans cihazın değeridir; referansların çoğu henüz tahmindir.
Süit puanı, 9 üyenin ağırlıksız geometrik ortalamasıdır. Tek bir testte iki kat hız süiti yalnız %8 yükseltir; hiçbir test süiti tek başına taşıyamaz.
Bütün üyeler gerekir (revizyon 3'ten beri): bir üye eksikse, desteklenmiyorsa, hata verdiyse ya da çıktı kapısından geçemediyse süit verilmez ve tabloda kapsam "6/7" gibi yazılır. Farklı üye kümeleriyle hesaplanan iki süit puanı karşılaştırılamaz.
Bilgi amaçlı testler de kendi puanlarıyla sayılır: süit tanımı bir listedir. Her üye platformun bilinen en hızlı yolunda koşar ve aynı çıktıyı vermek zorundadır.
KAI Benchmark Skoru sekiz süitin eşit ağırlıklı geometrik ortalamasıdır; bu süit verilmezse KAI Benchmark Skoru da verilmez. Süit puanını Toplayo hesaplar; uygulamanın kendi hesabı karşılaştırma için saklanır.

Bugün tabloda. Ölçüm 4.0 standart turunda bu süiti alan cihazlar (işletim sistemine göre, verilen / cihaz): Mac 4/5 · Windows 3/3 · iPhone ve iPad 1/1. Güncelleme bekleyen Mac turu (revizyon 5), Windows turu (revizyon 4) eski revizyonun hücreleri boşaltıldığı için süitlerin çoğunu henüz almıyor.

Neden bu süit var

Bir dil modelinin iki darboğazı vardır: istemi okumak hesaplama sınırlıdır, yanıt yazmak bellek bant genişliği sınırlıdır. Tek bir token/saniye değeri bu iki rejimi karıştırır ve cihazları yanlış sıralar; bu yüzden süit ikisini ayrı ölçer, üstüne kullanıcının hissettiği ilk yanıt süresini ekler.

En hızlı yol

Ön doldurma, üretim ve ilk yanıt testleri GPU yolundadır ve revizyon 6'dan beri (19 Ekim 2026) her platformda aynı ağırlık dosyalarını koşar: Qwen3'ün GGUF Q4_0 nicemlemesi, llama.cpp ile. Apple'da Metal arka ucu işlemciyle, Windows'ta CUDA Vulkan'la kısa bir denemede yarışır; o işte hızlı olan puanlanır. Önceki revizyonlarda Apple MLX'in 4 bitlik nicemlemesini koşuyordu; aynı modelin iki ayrı nicemlemesi aynı iş değildi. MLX yolu uygulamada durur, puanlı kimlik üretmez. Gömme her platformda aynı Universal Sentence Encoder modelidir; eşzamanlı sunum testi sunucu paketinin işidir ve llama.cpp ile işlemcide koşar. Yalnız işlemciyle koşan dil modeli testleri (llm.cpu.*) KAI Donanım'ın Dil modeli (CPU) bloğundadır; süitlere girmez.

Üye testler

Çubuk uzunluğu üyenin süit puanındaki payıdır (ağırlık ÷ 9). Her test kendi sayfasında: ne ölçer, nasıl ölçer, hangi motorla koşar.

Ön Doldurma (GPU) — Qwen3 4BÜretici

1%11,1

Token Üretimi (GPU) — Qwen3 4BÜretici

1%11,1

Uzun Bağlamda Üretim (GPU) — Qwen3 1.7BÜretici

1%11,1

İlk Yanıt · Kısa Soru (GPU) — Qwen3 4BÜretici

1%11,1

İlk Yanıt · Uzun Belge (GPU) — Qwen3 4BÜretici

1%11,1

Ön Doldurma (GPU) — Qwen3 1.7BÜretici

1%11,1

Token Üretimi (GPU) — Qwen3 1.7BÜretici

1%11,1

Gömme ve Vektör AramaPlatform

1%11,1

Eşzamanlı Dil Modeli SunumuSunucu

1%11,1

Ön Doldurma (GPU) — Qwen3 4BUzun bir belgeyi okumak: 4B modelin ön doldurma hızı.llm.prefill.llmStandard Token Üretimi (GPU) — Qwen3 4BYanıt yazmak: 4B modelin üretim hızı.llm.decode.llmStandard Uzun Bağlamda Üretim (GPU) — Qwen3 1.7BUzun sohbetin ardından yazma hızı: 4 000 tokenlık bağlam.llm.longcontext.llmCompact İlk Yanıt · Kısa Soru (GPU) — Qwen3 4BYardımcıya kısa bir soru: ilk kelimenin gelme süresi.llm.firstresponse.short.llmStandard İlk Yanıt · Uzun Belge (GPU) — Qwen3 4BBelge özetletmek: uzun isteme ilk yanıtın süresi.llm.firstresponse.long.llmStandard Ön Doldurma (GPU) — Qwen3 1.7BKüçük modelle (1.7B) uzun metni okumak.llm.prefill.llmCompact Token Üretimi (GPU) — Qwen3 1.7BKüçük modelle yanıt yazmak.llm.decode.llmCompact Gömme ve Vektör AramaAnlamsal arama (RAG) için cümleleri vektöre çevirmek.llm.embedding Eşzamanlı Dil Modeli SunumuTek modelle aynı anda çok kullanıcıya yanıt yazmak.server.llm

Aynı iş, aynı çıktı

Bu süitin 1 üyesinin çıktısı her ölçümde denetlenir:

Gömme ve Vektör Arama: aynı model; referans kosinüsü 0,999'un altında kalan aday elenir.

Sınırlar

Referansların çoğu tahmindir ve kalibrasyon bekler; 1000 puan iPhone 15 Pro sınıfını temsil eder. Cihazlar arası oranlar mutlak puanlardan daha anlamlıdır.
Android uygulamasının 4.0 güncellemeleri ertelendi; Android cihazlar bu süitte henüz tabloda yok.
Bir üyenin motoru ya da çıktısı platformlar arasında küçük bir farkla eşitlenemediğinde (ör. kodlayıcı kipinde 1 dB içi kalite farkı) fark eşitlenmiş gibi gösterilmez, tabloda etiketlenir. Aynı iş hiç kurulamıyorsa ya da sonuç çiple ters ölçekleniyorsa test süitten çıkar (revizyon 6, 19 Ekim 2026: altı test).