Dağıtık hesaplama: havuzlar, işler ve güven

Scellis'te dağıtık hesaplama için tam olarak tek bir mekanizma vardır. İçerik adresli bir iş (Job) parçalara (Shard) bölünür, parçaları eşlerden oluşan bir havuz (Pool) yürütür, sonuçları bildirilmiş bir indirgeme (Reduction) birleştirir ve her sonuç kabul edilmeden önce doğrulanır. Modelin tamamı budur. Tek üyeli bir havuz sıradan bir solo çalıştırmadır — aynı kod yolu, tamamen çevrimdışı. Federatif öğrenme aynı mekanizmanın bir konfigürasyonudur, asla ayrı bir alt sistem değil. Bu yelpaze boyunca değişen şey makine değil, etrafındaki güvendir — ve bu sayfa sınırları da yetenekler kadar açık söyler.

Tek mekanizma, birçok iş yükü#

Havuzlama bir eğitim özelliği değildir. Parametre taramaları, Monte-Carlo simülasyonları, topluluk modelleri (ensemble), k-katlı çapraz doğrulama ve toplu analiz — hepsi aynı iş → parça → indirgeme yolunda ilerler; çünkü aynı biçimi paylaşırlar: bağımsız parçalar artı onları birleştirmenin bildirilmiş bir yolu. Eğitim de aynı yoldadır — ayrıcalıklı değil, bir konfigürasyon olarak. Ve iş, parçalar geldikçe canlı çizilir: bir taramanın ısı haritası hücre hücre dolar, bir eğitim çalıştırması, bir paylaşılan oturumdaki herkesin aynı anda izlediği yakınsayan bir kayıp eğrisi çizer.

Bu mekanizmada strateji biçimli olan her şey içeriktir, asla motor kodu değil. Bölümleyiciler, indirgeyiciler, toplulaştırma stratejileri — FedAvg, FedProx, SCAFFOLD, DiLoCo ve FedBuff yerleşik içerik olarak gelir — ve havuz topolojisi, tıpkı bir blok gibi kullanıcı tarafından yazılabilir varlıklardır; asla sabit kodlanmış bir switch değil. İhtiyacınız olan toplulaştırma stratejisi yoksa onu siz yazarsınız — ve diğer her şeyle aynı katalog yolundan geçer.

Üç güven rejimi, asla birbirine karıştırılmaz#

Havuzunuzda kimin olduğu neyin güvenli olduğunu değiştirir; bu yüzden Scellis bunu bulanıklaştırmayı reddeder. Üç güven rejimi vardır ve platform onları asla tek bir rahatlatıcı ayara indirgemez.

Sınırlar öneri değil, kuraldır ve yapı gereği uygulanır. Güvenlik açısından kritik bir konfigürasyon açık bir havuzda başlamayı reddeder — yüksek sesle, yapı gereği, platformdaki diğer her reddin aktığı aynı tanı biçimiyle. Açık veri-paralel iş de kamuya açık girdi verileriyle sınırlıdır; çünkü yabancıların özel veriler üzerinde parça çalıştırması, kimsenin kazara ulaşamaması gereken bir ayardır. Tersi de aynı ölçüde dürüsttür: gizli bir model ya da veri kümesi açık havuzu reddeder; çünkü yürüten eşler, üzerinde hesap yaptıkları şeyi zorunlu olarak ellerinde tutar.

Varışta doğrulanır, makbuzla ölçülür#

Uzaktan gelen bir sonuca varışta asla güvenilmez. İşin bildirdiğine göre sonuç, deterministik CPU referansına karşı bildirilmiş bir tolerans içinde denetlenir, öngörülemez bir oranda habersiz örneklenir ya da bağımsız eşler arasında çoğunluk (quorum) çoğaltmasıyla sınanır — ve ancak ondan sonra indirgemeye kabul edilir. Freivalds olasılıksal denetimleri matris çarpımlarında doğrulayıcının maliyetini düşürür; ücretli doğrulayıcılar ise yanıtı bilinen, aralara serpiştirilmiş kanarya parçalarıyla dürüst tutulur. Doğrulama rejiminin tamamı, cihazlar arasına genişletilmiş doğruluk hikâyesidir.

Kabul edilen iş, hash zincirli bir deftere bir makbuz yazar ve katkı, doğrulanmış iş birimleriyle ölçülür, geçen süreyle değil — geçen süre yavaşlığa para öder ve tahrif edilebilir. Her birim, sağlayıcının şişiremeyeceği, planlayıcı tarafından türetilmiş bir maliyet taşır. Özgecil havuzlama — kendi cihazlarınız, gönüllüler, bir konsorsiyum — bugün tamamen canlıdır ve hiçbir ödeme rayı gerektirmez. Ödemeler, emanet (escrow) ve teminat (staking) içeren ücretli hesaplama pazarı ise adı konmuş ileri yoldur — tam da bu makbuzların üzerine kurulur; tek ve bölünmez bir birim olarak gelir, çünkü ödemeleri sahtekârlık caydırıcılarından önce çıkarmak Sybil çiftçiliğini kârlı kılardı.

Ne ölçeklenir — ne ölçeklenmez#

Senkronize eğitim kararlı bir kohortun oyunudur, asla açık bir sürünün değil: eşler güncelleme alışverişi yapmak zorundadır ve duvara dönüşen şey hesaplama değil, bu alışveriştir; baskın maliyet aritmetik değil, katılıp-ayrılmadır (churn). “Ölçekleme”nin arkasında kendi cümlesini hak eden ikinci bir sınır daha saklıdır: veri-paralel havuzlama, modelin tamamını her eşte çoğaltır. Verimi katlar; ama tek bir cihaza sığmayan bir modeli sığdıramaz. Daha büyük modelleri sığdırmak ayrı bir yoldur — katmanların cihazlar arasında aktarıldığı Relay yolu ya da parçalanmış optimizatör durumu. Sayısal bir hızlanma çarpanı asla vaat edilmez; iddia, adı konmuş mekanizmalardır. Dürüst sınırlar sayfası bunların her birini hata payı hata payı listeler.

Gönüllüye adil, ağ konusunda dürüst#

Başkası için yürüttüğünüz bir parça, hiçbir etki izni olmadan saf hesaplama olarak çalışır: yerel verilerinizi, kimlik bilgilerinizi veya ağınızı yapısal olarak okuyamaz. Bütçe denetimi sizde kalır — bir pil tabanı, iki tıklamayla durdurma. Katkı ayrıca ön planda ve fişe takılı bir cihaz ister; çünkü tarayıcı arka plan sekmelerini dondurur: arka plandaki bir sekme hesaplama yapmıyordur ve Scellis yapıyormuş gibi davranmaz.

Havuzlu hesaplama ayrıca sunucusuz değildir ve bu sayfa ona öyle demeyecek. Bir havuz oturumu, oturum süresi boyunca çevrimiçi bir koordinatöre ihtiyaç duyar — “sunucusuz”, iş birliğine açık ağlarda veri düzlemini tarif eder, asla kontrol düzlemini değil. Koordinatör parçaları planlar ve bağlantılara aracılık eder; mutlu yolda tensör baytlarına asla dokunmaz (bir koordinatör nesnesi bir tensörü toplayamaz — yalnızca eşler indirger) ve solo iş için asla gerekmez. İş birliğine açık ağlarda çoğu ev bağlantısı STUN üzerinden doğrudan eşler arası, sıfır aktarıcı maliyetiyle kurulur; simetrik ve kurumsal NAT'lar bir aktarıcıya (relay) geri düşer ki bu, o senaryo için dürüst kararlı durumdur. Çok büyük havuzlar, kontrol dağılımı sınırlı kalsın diye koordinatörü hiyerarşik bir ağaca federe eder.

Federatif öğrenme: bir merkezden gerçekte ne çıkar#

Federatif öğrenme, verinin yerinde kaldığı ve modelin seyahat ettiği konfigürasyondur. Ham veri, katılan bir merkezden asla bayt olarak çıkmaz. Ama model güncellemeleri çıkar — ve bir güncelleme, hesaplandığı verinin kayıplı, kimi zaman tersine çevrilebilir bir fonksiyonudur. Bu yüzden baytların dışarı çıkmaması tek başına bir gizlilik güvencesi değildir ve Scellis onu asla öyle sunmaz.

İşte bu nedenle, kendi cihazlarınızın ötesindeki her rejimde, kırpmalı ve hesabı tutulan diferansiyel gizlilik her zaman devrededir; aşımı reddeden monoton bir gizlilik bütçesi defteriyle izlenir — tur monitöründe canlı bir (ε,δ) göstergesi durur. Güvenli toplulaştırma uygulanabilir yerde üstüne eklenir ve kurumlar arası (cross-silo) senaryolarda zorunludur; her tekil güncellemeyi gizler ama toplamı serbest bırakır — yani DP'nin yerine geçmez. Ölçekleme iddiası burada da dürüst kalır: federatif öğrenme istatistiksel güç kazandırır — daha çok katılımcı merkez, modelin arkasında daha çok yerel örnek — daha kısa bir süre değil.

Tek mekanizma, üç güven rejimi, geçen süre yerine makbuzlar — ve üretimde keşfedilmek yerine veri sayfasına yazılmış sınırlar. Yeniden üretilebilirlik iki kademeli bildirilir — oracle yolunda replayable, GPU yolunda tolerans içinde yakınsak — böylece dağıtık bir sonuç, cihazlar arası bir hash'i değil, commit'lenmiş sürümleri alıntılar. Ve tek üyeli bir havuz aynı makinedir — ağ kablosu çekiliyken de çalışır.