Modelleri tarayıcıda eğitin — hem de gerçekten.

Scellis modelleri eğitir — yalnızca çalıştırmakla kalmaz. Platformun etrafında kurulduğu iş yükünün eğitim olmasının nedeni tam da şudur: eğitim, altındaki her katmanı gerçek olmaya zorlar. Gradyanlara dokunan bir döngü; açık bellek planlaması, yapılandırılmış kontrol akışı, bir doğruluk rejimi, yeniden üretilebilir rastgelelik ve checkpoint ister. Bir platformu en zorlu senaryosunda sertleştirirseniz, aynı makine bir simülasyonu ya da istatistiksel analizi de aynı sağlamlıkla taşır. Çiziminizle GPU'nuzda koşan kod arasında ne olduğunu görmek isterseniz rehber her aşamayı açar: çizilmiş çizgeden GPU koduna.

Kullandığı GPU, zaten sizin olan GPU'dur — Apple, AMD, Intel ya da NVIDIA; dizüstünde de iş istasyonunda da — çünkü WebGPU, tarayıcının GPU'ya kendi arayüzüdür: CUDA yok, sürücü yok, kurulacak bir şey yok, yönetici hakkı gerekmiyor. Kullanılabilir bir GPU'nun hiç olmadığı bir cihazda aynı iş akışı daha yavaş bir CPU yolunda yine çalışır — adı konarak, asla sessizce değil; bunun büyük bir modelde neye mal olduğu dürüst sınırlar sayfasında yazılıdır.

Döngünün kendisi okuyabileceğiniz bir programdır. İleri geçiş, kayıp, geri yayılım ve optimizer adımı, diğer her iş akışıyla aynı aşamalardan geçer — modele özel bir yol yoktur — ve döngü adım adım sürülür. Bu yüzden veriye bağlı bir karar — bozuk bir sayı üreten yığını atlamak ya da plato durumunda öğrenme oranını düşürmek — sonradan yapıştırılan bir şey değil, doğrudan ifade ettiğiniz bir şeydir. Tekil bir çalıştırmanın sunucuya hiçbir zaman ihtiyacı olmaz.

Herhangi bir iş GPU'ya gönderilmeden önce planlayıcı, çalıştırmanın tepe bellek ihtiyacını toplar — parametreler, aktivasyonlar, gradyanlar, optimizer durumu, çalışma belleği; karma hassasiyette bunlara ağırlıkların tam hassasiyetli ek kopyası da eklenir — ve toplamı cihazınızın gerçekte sahip olduğuyla karşılaştırır. Yanıt açıktır: yeşil çalışır; sarı uyarılarla çalışır; kırmızı baştan reddedilir ve yanında çözümler gelir — yığını küçültün, aktivasyon checkpoint'lemesini açın, veriyi akışla işleyin, hassasiyeti değiştirin. Bir çalıştırmanın ne kadar GPU belleği isteyeceğini tahmin etmek zorunda kalmazsınız; yanıtı bir saat sonra da öğrenmezsiniz.

Plan kapasite konusunda da dürüsttür. Parametreleri ve optimizer durumu tek bir cihazın belleğini aşan bir model, o cihazda hiçbir yığın boyutunda eğitilemez — planlayıcı bunu siz bir dakika bile hesaplama harcamadan söyler ve gerçekten işe yarayanı adlandırır: adaptörler (QLoRA, bir ince ayarın istediği belleği dört ila sekiz kat azaltır), optimizer durumunu cihazlara bölmek ya da cihazları bir havuzda toplamak — ki bu, tek bir cihazın belleğini değil toplam işleme gücünü çoğaltır; o sayfa bu ayrımı açıkça söyler.

Rastgelelik sayaç tabanlıdır: aynı tohum, akıştaki aynı konumda, hangi cihaz olursa olsun aynı rastgele çekimi üretir; rastgelelik durumu da — dropout, karıştırma ve veri artırma için adlandırılmış alt akışlarıyla — diğer her şeyle birlikte kaydedilir. Bu yüzden sürdürülen bir çalıştırma her çekimi birebir yeniden oynatır: aynı yığınlar aynı sırada, aynı dropout maskeleri, aynı veri artırmalar.

Aritmetiğin kendisinin ne kadar yeniden üretilebilir olduğunu her çalıştırmada debug / prod / fast determinizm kademeleriyle siz beyan edersiniz — uçtan uca taşınır, sonuçla birlikte kaydedilir, asla sessizce varsayılana düşmez; doğruluk sayfası her kademenin bir referans uygulamaya karşı nasıl doğrulandığını gösterir. Sınır da hemen yanında durur: GPU'da farklı cihazlardaki çalıştırmalar beyan edilmiş bir tolerans içinde uyuşur — bit düzeyinde birebir eşitlik, debug kademesinin tek cihazda verdiği sözdür ya da CPU'daki referans yolundadır.

Bir checkpoint, içeriğinin hash'iyle kimliklenir; bu yüzden sürdürme, sessizce gerileyebilecek bir özellik değildir — checkpoint'in nasıl saklandığından doğrudan çıkar. Tamamlanan bir çalıştırma ise dayandığı her şeyi sabitler — program, veri kümesi sürümleri, checkpoint'ler, motor sürümü — ve bir sonucu söylentiyle değil bir bağlantıyla yeniden üretilebilir kılan da budur.