Yöntem

Aynı koşul, aynı iş, aynı çıktı

Ölçüm 4.0'ın kuralı tek cümledir: Aynı koşul, aynı iş, aynı çıktı; yol her platformda bilinen en hızlısı. Aynı testler koşulup aynı işler puanlanmıyorsa platformlar kıyaslanamaz.

4.0'ın ilk önizlemesi bunu gösterdi: süitler "var olan üyelerin üçte ikisiyle" hesaplanıyordu ve Windows'ta henüz taşınmamış testler tam da Mac'te düşük puan alan tek akışlı platform testleriydi. Mac bunları taşıdığı için cezalanıyor, PC taşımadığı için kurtuluyordu; yalnız ortak üyelerle hesaplanınca Mac'lerin Tasarım puanı %20–80, Ofis puanı %42–84 yükseliyor, PC puanları değişmiyordu. Revizyon 3 bunu üç yoldan düzeltti: süit bütün üyelerini ister, her platformda koşamayan test süite giremez, çıktısı olan her test bir kapıdan geçer.

Revizyon 6 (19 Ekim 2026) kuralın öbür yarısını uyguladı: aynı iş kurulamayan ya da platformlar arasında kararlı sonuç vermeyen bir test düzeltilemiyorsa süitten çıkar. Altı test böyle çıktı: dayanıklı veritabanı işlemi (boşaltma garantisi eşitlenemiyor), fotoğraf ve belge metin tanıma ile belge analizi (Apple'ın Vision servisi macOS 27'de çiple ters ölçekleniyor: M4, M5 Ultra'dan hızlı), sosyal medya fotoğrafı (Apple'ın belgelenmemiş otomatik iyileştirmesi fotoğraf başına ~350 ms sabit) ve HDR düzenleme (çıktı kabı platforma göre farklı). Testler kalır ve tabloda ayrı sütundur; puana girmez.

Bilinen en hızlı yol

Her test cihazın en hızlı yolunda koşar. İş aynı iş olduğu sürece (aynı model ve ağırlıklar, aynı girdi, aynı ayarlar, aynı çıktı) onu hangi birimin (Neural Engine, GPU, işlemci, medya motoru) ya da hangi çerçevenin işlediği önemsizdir. Sabit bir motor seçimi ("toplu üretim Neural Engine'de", "ilk bulunan kodlayıcı") bu kurala göre hatadır.

Seçim çoğu testte puana girmeyen kısa bir denemeyle yapılır: görsel ve video üretiminde cihazın her difüzyon motoru, metin seslendirmede dört Core ML yapılandırması, PC'de dil modelleri için CUDA ile Vulkan, GPU probunda dört ONNX Runtime sağlayıcısı, bant genişliğinde dört iş parçacığı adayı, belge okumada 1–8 paralel akış zamanlanır; en hızlısı ölçümü yapar. Gerekirse aynı kaynağın başka derleme ayarlarıyla kendi derlememiz de olur (ör. N1X için CUDA ve OptiX açık ARM64 Blender).

Yapay zekâ işlerinde (difüzyon, dil modeli, seslendirme, müzik) çıktı birebir değil yakınsak olabilir: testin kendi doğruluk kapısını geçen yol aynı işi yapmış sayılır. Adı bir birimi ölçmek olan testler (Neural Engine / NPU verimi, NPU testleri, GPU probu, birim adlı görsel üretimi, işlemcide dil modeli) kendi biriminde kalır ve süitlere girmez.

Çıktı kapıları

Çıktısı olan her test, ölçülen işin gerçekten yapıldığını denetler. Kapıdan geçmeyen sonuç "hata" olarak yüklenir, tabloda görünmez ve süiti düşürür.

Test	Kapı
Video dönüştürme (3 test)	Çıktının ilk 120 karesinde Y-PSNR ≥ 30 dB ve gerçekleşen bit hızı istenenin ±%15'i içinde; PSNR farkı cihazlar arasında 1 dB'yi aşarsa satır işaretlenir.
Video Kurgu Render'ı	Kodlama öncesi 12 örnek karede referansa ≥ 40 dB; çözülen çıktıda 4×4 blokta ≥ 28 dB; kare sayısı, süre, anahtar kare aralığı, bit hızı.
Çok Akışlı Dönüştürme	Aynı kapı ilk akışta (revizyon 6); kodlayıcı her platformda hız öncelikli kipte.
4K Çözme	Çözülen kare sayısı beklenenle (360 × döngü) aynı (revizyon 6).
PDF Sayfa Render	Her sayfanın çizimi örneklenerek "beyaz değil" diye denetlenir; sayfa nesnesinin açılması süreye dahil (revizyon 6).
Konuşma Tanıma, Sesi Metne Çevirme	Kelime hata oranı en çok %15 (iş hattında her dil için); revizyon 6'ya kadar %40.
Fotoğraf Codec'i	Kalite sayısı değil çıktı boyutu: HEIC 0,15, JPEG 0,45 bit/piksel, ±%5; tutmazsa "hedef kaçırıldı".
Metin Seslendirme, Müzik Üretimi	Referansla korelasyon (seslendirme ≥ %99,9; müzik fp16 ≥ 0,99, fp32 ≥ 0,999).
Gömme	Aynı model her platformda; referans kosinüsü ≥ 0,999 olmayan aday elenir.
Elektronik Tablo, Uzun Belge	Her yinelemede formül değerlerinin, .xlsx'in, PDF'in ve belge metninin SHA-256'sı referansla aynı.
İş hatları	Nesne silmede maskenin içi değişmiş, dışı değişmemiş; oyun sahnesinde her kare tamamlanmış. Süit dışındaki hatlarda da kapı durur: belge analizinde kelime doğruluğu ≥ %85, sosyal medya çıktılarının hepsi doğru boyutta ve çözülebilir, HDR'de headroom ≥ 1,05.
Blender	Aynı sürüm, aynı sahne, aynı ayarlar; iPhone/iPad'deki Cycles standalone ile Blender arasındaki fark gürültünün 50–90 kat altında; Windows'ta ikili ve sahne özeti çalışma anında denetlenir (revizyon 6).

Eşitlenemeyen bir garanti eşitlenmiş gibi gösterilmez, etiketlenir: dayanıklı veritabanı işleminde boşaltma türü (F_FULLFSYNC, fsync, FlushFileBuffers ve sürücünün yazma önbelleği ilkesi) sonuçla birlikte yüklenir. Etiket platform karşılaştırmasını anlamlı kılmadığında test süitten çıkar: dayanıklı veritabanı işlemi revizyon 6'dan beri hiçbir süitte değildir.

Katmanlar

Her testin bir katmanı vardır ve 4.0'da da durur: hangi tür motorla koştuğunu söyler ve KAI Donanım, KAI Üretici, KAI Platform bu katmanlardan hesaplanır. Donanım katmanı aynı baytları, aynı algoritmayı, aynı kaynak kodu ya da Metal'de ve Vulkan'da aynı GPU çekirdeğini kullanır. Üretici katmanı üreticinin ya da platformun en hızlı motorunu ölçer (MPS, MLX, Core ML, ProRes; PC'de CUDA, cuBLAS, TensorRT). Platform katmanı işletim sisteminin yazılımını ölçer (Vision, SpeechAnalyzer, ImageIO, WebKit; PC'de Windows.Media.Ocr, WIC, WebView2). İş hattı ortak veri paketinde uçtan uca gerçek iştir; sunucu aynı anda çok isteğe hizmet veren işlerdir.

Platformlar arası iş karşılaştırması süitlerdedir: süit üyesi bir test, katmanı ne olursa olsun, her platformda aynı işi yapar, aynı çıktı kapısından geçer ve platformun bilinen en hızlı yolunda koşar.

Aynı baytlar, aynı kod, aynı çekirdek

Medya girdileri (4K ve 1080p klipler, müzik, fotoğraflar, belgeler, konuşma kayıtları, web paketi) Toplayo'dan indirilen sabit veri paketlerinden gelir; her dosya SHA-256 ile doğrulanır. İşlemci, bellek, depolama ve kripto girdileri kod içinde sabit tohumla üretilir ve her platformda bit bit aynıdır.

Zamanlanan bütün işlemci, bellek, depolama, kripto, ses DSP ve JavaScript döngüleri kai-core kütüphanesindedir: C17, üç uygulamada aynı sürüm (3.6; revizyon 6'da bant genişliği dizileri iş parçacığı sayısına göre boyutlandı). Vendor kaynakları sabittir: zlib 1.3.1, lz4 1.10.0, lzfse, SQLite 3.53, QuickJS-ng 0.17, chibicc. FMA daralması kapalıdır; GEMM'deki FMA'lar açık intrinsics'tir (ARM'da NEON, x86-64'te AVX2), her platform aynı yuvarlar.

GPU çekirdekleri Metal'de ve Vulkan'da aynı algoritmadır; 3D sahne ve gölgelendiriciler iki tarafta eşdeştir. GPU işleri komut arabelleğinin kendi zaman damgasıyla, gönderim başına en az 100 ms pencerede ölçülür.

Örnekleme: n ≥ 5, ortanca, "en iyisi" yok

Donanım katmanında her birincil metrik en az beş örneğin ortancasıdır; "en iyi koşu" seçilmez. Değişkenlik (varyasyon katsayısı) her sonuçla yüklenir. Ortanca, arka plandaki tek yavaş örneği yok sayar ama gerçekten yavaş bir cihazı gizlemez.

İstisnalar açıkça yazılıdır: toplu üretimde düzey başına 3, MLX'te 3 ölçüm, görsel üretimi ve gömmede 2 geçiş, iş hatlarında tek geçiş (video hattında tam 3 dışa aktarma, render'da en çok 3), ofis testlerinde 1 ısınma + 3 yineleme, Speedometer'da 10 yineleme, Blender'da tek render; grafik testlerinde örnek sayısı kare sayısıdır.

Her testten önce ısınma geçişi yapılır; birim ve motor denemeleri ısınmanın parçasıdır ve puana girmez. Model indirme ve kurulum süresi ölçüme girmez.

Isı ve hız denetimi

Tur başında kısa bir hız sınaması yinelenir; art arda iki sınama %3 içinde uyuşunca son sınama taban olur. Taban sonraki serin sınamaların ortancasıyla güncellenir; hiçbir zaman en yüksek değer alınmaz. Turun ilk 30 saniyesinde ısınmış okunan cihaz "baştan ılık" sayılır ve ılık durumu dinlenme olarak öğrenebilir.

Her testten önce: serinse hız denetimi (tek çekirdekte en az %97, tüm çekirdeklerde en az %93; geçmezse 20 saniyede bir yeniden, en çok 120 saniye). Sıcaksa ılıyana kadar en çok 600 saniye beklenir. Ilıksa ağır testten önce en çok 300 saniye serinleme, sonra hız denetimi.

Dört ısı lideri turun içine yayılır ve her birinden sonra termal etiket ne derse desin 120 saniye sabit dinlenme yapılır. Dayanak: üç iPhone'da GPU matris çarpımı, ilk ağır testten hemen sonra iOS hâlâ "nominal" derken %30–39 düşük ölçüldü.

Puana giren bir test sıcakta ya da "ılık ve yavaş" başladıysa tur ikinci sınıftır; düşük güç kipinde koşan test de öyle. Toplayıcı bu turları karşılaştırma tablosuna almaz. Sürekli kip hiç beklemez ve sınamaz.

Bellek kapısı

Her test bellek ihtiyacını bildirir. İhtiyaç, işletim sisteminin uygulamaya verdiği sınırın %85'ine sığmazsa test "bellek yetersiz" olarak kaydedilir; 4 GB sınıfında bütçe 2 437 MB'tır. macOS'ta uygulama sınırı RAM'in %55'idir.

Büyük modellerde kapı birim başınadır: işlemci testi sınıfın eşiğine (14B en az 22 GiB, 32B en az 60 GiB) fiziksel belleğe karşı, PC'nin GPU testi modelin bütçesine (dosya × 1,08 + 1 000 MB) GPU'nun ayrılmış belleğine karşı bakar. Katmanların bir kısmını işlemciye bırakan kısmi aktarım yapılmaz. Telefonda web içerik süreci bellek yüzünden kapanırsa ofis testi "sığmayan test" sayılır.

KAI Hafif bu yüzden vardır: 4 GB sınıfına sığan sabit listeyle aynı sekiz blok.

Depolama garantileri

Sayfa önbelleği atlatılır: Darwin'de F_NOCACHE, Linux ve Android'de O_DIRECT, Windows'ta FILE_FLAG_NO_BUFFERING; etkili olup olmadığı doğrulanır ve sonuçla yüklenir. Yazma sonunda tam boşaltma yapılır ve süreye dahildir: Apple'da F_FULLFSYNC, Linux ve Android'de fsync, Windows'ta FlushFileBuffers. SQLite WAL ve synchronous=FULL ile her COMMIT kalıcı belleğe kadar gider.

Dürüst bir not: bu garantiler kodla eşitlenemez. F_FULLFSYNC sürücünün önbelleğini de boşaltır; FlushFileBuffers'ın gerçekten flaşa kadar gidip gitmediği sürücünün yazma önbelleği ilkesine bağlıdır. Dayanıklı işlemde aynı etiketli üç PC saniyede 488–3 188, Mac'ler 238–327 işlem yaptı; farkın büyük kısmı garantinin farkıdır. Windows koşturucusu sürücünün ilkesini okur ve yazma önbelleği açık, boşaltma kapalıysa sonucu "gürültülü" işaretler; her platform hangi boşaltmayı yaptığını yazar. Fark eşitlenmez, etiketlenir; etiket platform karşılaştırmasını anlamlı kılmadığı için test revizyon 6'da (19 Ekim 2026) İş İstasyonu süitinden çıktı ve tabloda ayrı sütun olarak durur. Sıralı okuma ve yazmada dosya boyutu macOS'ta da Windows'un kuralıyla seçilir (boş alan − 3 GiB, 1–8 GiB; revizyon 6).

Rastgele okumalar çok GiB'lık yazma ve silmelerden önce koşar. Bir yazmadan sonra 10 saniye dinlenilir, çünkü Apple SSD'leri yazmadan sonra saniyelerce okumayı durdurabilir.

Koşu koşulları

Yalnız Release derlemeler ölçer. Mac'te tam tur masaüstü oturumunda, ekran kilitsiz ve uyanık koşar: web ve ofis testleri pencere ekranda görünür olmadan başlamaz, gizlenen sayfanın sonucu geçersizdir. Windows koşturucusu sonuçları yalnız açıkça istendiğinde yükler. Ağır bir derleme ya da başka bir yük turla aynı anda koşarsa tur "yük altında" işaretlenir ve tabloya girmez.

Referanslar ve kalibrasyon

Test puanı = ölçülen ÷ referans × 1000; küçük olanın iyi olduğu metriklerde (süre, gecikme) oran ters çevrilir. 1000 puan, nominal termal durumdaki iPhone 15 Pro'nun değeridir. Sözel bantlar: 700 altı "referansın altında", 1100 altı "referans sınıfı", 1600 altı "belirgin üstünde", 2400 altı "çok güçlü", üstü "sınıfının çok üstünde".

Uyarı: mutlak çapa henüz kalibre edilmedi. Yeni testlerin referanslarının çoğu kestirimdir (ör. web ve ofis testleri ilk M5 Ultra turunun tek çekirdek oranıyla ölçeklendi; Blender'ınki benzer bir testteki orana dayanır) ve test sayfalarında öyle yazar. Cihazlar arası oranlar bundan etkilenmez; mutlak sayılar kalibrasyonla değişebilir.

Revizyonlar ve "Turu güncelle"

Küçük düzeltmeler ölçüm sürümünü yükseltmez; tabloyu boşaltmak bütün cihazların yeniden koşmasını gerektirirdi. Revizyon, yalnız değişen testleri yeniden ölçer. Revizyon haritası platform başınadır: bir test yalnız Windows'ta değiştiyse Mac turları etkilenmez. Toplayo eski revizyondaki turun değişen hücrelerini boşaltır ve satırı "güncelleme bekliyor" diye işaretler; uygulamanın "Turu güncelle" komutu (Mac'te --update-latest, Windows koşturucusunda --update-run) yalnız o testleri ölçer, turu aynı başlangıç zamanıyla yeniden gönderir ve Toplayo eskisinin yerine koyar ("güncellendi"). Aynı yol, güncel revizyondaki turun hata veren testlerini de yeniden ölçer.

Revizyon	Değişiklik
4.0 r1	Ölçüm 4.0: manşet KAI Benchmark Skoru (sekiz süit), KAI Donanım ikinci başlık; sunucu paketinin beş temel testi ve web/ofis testleri standart turda. 3.3 r7 turları yeniden ölçülmeden 4.0'a puanlanabildi ("4.0 önizleme").
4.0 r2	Yeni test: Video Kurgu Render'ı.
4.0 r3	Platform eşleme: süit bütün üyelerini ister; ProRes ve GPU probu süitlerden çıktı; dönüştürme çıktı kapısı (Apple'da 1080p H.264 kırpma hatası düzeltildi); konuşmada kelime hata oranı kapısı; fotoğraf codec'i eşitliği; bant genişliği iş parçacığı adayları; veritabanı boşaltma etiketi; ışın izleme bayrağı ve sayacı; Apple Vision testlerinde hesap aygıtı denemesi; seslendirme denemesi 14 parçada.
4.0 r4	Aynı iş, ikinci tur: fotoğraf codec'inde çıktı boyutu hedefi (Apple, Windows); Windows ofis referansları (12 sn / 3 sn) ve Speedometer; Apple'da belge iş hattı paralel akış, Universal Sentence Encoder gömme, düz OCR ile belge anlama.
4.0 r5	Apple: sabit şekilli seslendirme vocoder'ı (seslendirme paketi 2).
4.0 r6	Adalet turu (19 Ekim 2026): dil modeli GPU testleri her platformda aynı ağırlıklarla (GGUF Q4_0, llama.cpp; Apple'da Metal, MLX yerine) ve aynı tekrar sayılarıyla; çok akışlı dönüştürmede hız öncelikli kip ve çıktı kapısı; PDF çiziminde sayfa açma süreye dahil ve her sayfada "beyaz değil" kapısı; konuşma kapısı %40 → %15; bant genişliği dizileri iş parçacığı sayısına göre (kai-core 3.6); görsel üretiminde her platformda fp16 ve sıralı üretim; müzik üretiminde Windows DiT fp16; Apple fotoğraf zincirinde yalnız Metal; 4K çözmede kare sayısı kapısı; Vulkan FP16 GEMM shaderFloat16 yoksa desteklenmiyor. Altı test süitlerden çıktı: storage.database, vision.ocr, document.understanding, workflow.documents, workflow.social, workflow.hdr.

Bugün güncel revizyon: Apple 6, Windows 5, Android 4; sayaçlar platform başınadır, aynı değişiklik üç platformda ayrı numaralarla anılır. Android cihazlar revizyon 6'nın işleriyle henüz ölçülmedi.

Ölçüm sürümleri. 2.0, 3.0, 3.1, 3.2, 3.3 ve 4.0 sonuçları aynı tabloya girmez; sürüm değiştiğinde bütün cihazlar yeniden koşar. 3.3 turları 4.0 önizlemesinde ayrı bir küme olarak görünür.