§ Platform / Dağıtık hesaplama
Cihazlarınızı bir havuzda toplayın. Laboratuvarınızı da. Kalabalığı da.
Tek bir mekanizma, erişebildiğiniz cihazları çalışan bir kohorta dönüştürür: bir Job — bir program, onu bölmenin beyan edilmiş bir yolu, sonuçları birleştirmenin beyan edilmiş bir yolu ve kimin katılabileceğine dair bir kural — parçalara ayrılır, eşlerden oluşan bir Pool bunları hesaplar ve bir sonuç ancak doğrulandıktan sonra sayılır. Aynı mekanizma kendi makinelerinizi, imzalı kurumlardan oluşan bir konsorsiyumu ve yabancılardan oluşan açık bir kalabalığı kapsar — platformun asla birbirine karıştırmadığı üç güven düzeyi. Koordinatörü uygulanmış ve test edilmiştir; gerçek tarayıcılar arasında havuzlu işler ise aktif olarak devreye alınıyor.
Solodan sürüye tek mekanizma
Burada dağıtık hesaplama bir alt sistemler ailesi değil, tek bir şeydir. Job sabittir ve içeriğiyle kimliklenir: bir program, işin nerede bölüneceğine dair beyan edilmiş bir kural, sonuçların nasıl birleşeceğine dair beyan edilmiş bir kural ve kimin katılabileceğine dair bir politika. Her parça, kendisine verilen girdilerin tam olarak aynısını ve rastgeleliğin kendine ait, yeniden üretilebilir bir dilimini taşır — böylece herhangi bir eş, kendisine verilen parçayı birebir yeniden hesaplayabilir; geri gelmeyen bir parça yeniden dağıtılır, asla kaybolmaz.
Tek bir biçim; veri-paralel eğitimi, parametre taramalarını, toplulukları, k-fold doğrulamayı, Monte-Carlo simülasyonunu ve toplu analizi kapsar. Tek cihazlı bir Pool, koordinatör olmadan koşan sıradan bir solo çalıştırmadır — havuz kurmak çevrimdışı çekirdeği asla zayıflatmaz ve kurduğunuz hiçbir şey başkasının ortaya çıkmasına bağlı değildir. Cihazları sabit bir sırayla dolaşması gereken iş — bir makinenin çıktısının bir sonrakinin girdisi olduğu durum — bu mekanizmanın içine sıkıştırılmak yerine bilinçli olarak ayrı bir mekanizmadır.
Cihazlarınız, bir konsorsiyum ya da açık kalabalık — asla karışmaz
Her havuz kimin katılabileceğini beyan eder ve bu üç yanıt asla tek bir belirsiz güven ayarına indirgenmez. Kendi cihazlarınız — dizüstü, masaüstü, iş istasyonu — tek kohort olarak katılır: tam güven, ek onay adımı yok. Bir konsorsiyum, kurumsal olarak imzalanmış üyelerden kurulur; güvenlik açısından kritik ya da regülasyona tabi işin çalışabileceği tek ortam odur. Açık bir kalabalık ise anonim yabancılardır: salt hesaplama, zaten herkese açık olan girdilerle sınırlı, bağımsız yeniden hesaplamayla nokta denetimli — denetlenecek parçaları hiçbir eşin öngöremeyeceği şekilde seçmek hâlâ devreye alınıyor — ve sizin koyduğunuz bir bütçeyle sınırlandırılmış.
Hesaplama ödünç vermek ile ortak düzenleme farklı eylemlerdir ve platform bunları ayrı tutar: bir yabancı size GPU'sunu ödünç verirken verinizden tek satır okumaz, belgenize tek satır yazmaz — aynı belge üzerinde birlikte çalışmak canlı iş birliğidir ve ayrı bir karardır. Dürüstlük ters yönde de işler: işinizi çalıştıran bir eş, üzerinde hesap yaptığı şeyi ister istemez elinde tutar; bu yüzden gizli olarak işaretlediğiniz bir model ya da veri kümesi açık kalabalığı doğrudan reddeder. Daha geniş güven mekanizması güvenlik sayfasındadır.
Taramalar, simülasyonlar ve toplu analiz birinci sınıftır
Boştaki dizüstüler ve iş istasyonları, bağımsız parçalara bölebildiğiniz her işi koşturan tek bir kümede birleşmek üzere tasarlanmıştır — bir parametre taraması, bir topluluk, k-fold doğrulama, bir Monte-Carlo simülasyonu, büyük bir veri kümesi üzerinde toplu analiz — hiçbir eğitim mekanizması devreye girmeden: bağımsız parçalar, onları birleştirmenin sade ve beyan edilmiş bir yolu, hiçbir yerde gradyan yok. O an boşta olan eş bir sonraki parçayı alır; böylece yavaş bir eş, ortadan kaybolan bir eş ve arızalanan bir eş üç ayrı yama değil, tek bir kurtarılan durum olur.
Girdilerin tek bir kaynaktan tek tek yayılmak yerine eşler arasında dağılması amaçlanır; böylece büyük bir veri kümesi darboğaza dönüşmez. Sonuçların ancak doğrulamayı geçtikten sonra toplamaya eklenmesi amaçlanır — kötü bir örneği akan bir ortalamadan geri çıkaramazsınız; bugün koordinatör doğrulanmamış bir sonucu geri tutmak yerine işaretler — ve uzun simülasyonlar milyonlarca örneği belleğe yığmak yerine sabit boyutlu toplayıcılardan akar. Bir taramanın çalışırken parça parça dolması amaçlanır; dağıtık hesaplama rehberi mekanizmayı adım adım anlatır.
Ne iyi havuzlanır — ve dürüstçe ne havuzlanmaz
Farklı işler farklı ölçeklenir. Tablo bunu açıkça söyler.
| İş yükü | Ölçekleme | Dürüst nedeni |
|---|---|---|
| Parametre taramaları ve toplu analiz | doğrusala yakın — beklenen, henüz ölçülmedi | Bağımsız parçalar, bekleme yok; boşta olan bir sonrakini alır, böylece geciken bir eş ile arızalanan bir eş aynı kurtarılan durumdur. |
| Monte-Carlo ve topluluklar | doğrusala yakın — beklenen | Bağımsız tohumlar; yalnızca doğrulamadan sonra sabit boyutlu bir toplayıcıya eklenecek şekilde tasarlanmıştır. |
| Eşzamanlı kalan eğitim | doğrusal altı — en iyi durumda onlarca kararlı eş | Herkes en yavaş olanı bekler; daha seyrek eşzamanlamayla büyür, asla daha derin koordinasyonla değil — tarayıcılar arasında henüz bağlanmadı. |
| Federe öğrenme | katılımcıyla ölçeklenir | Kohort boyutunu ve istatistiksel gücü büyütür — hızı asla. |
| Tek cihaza sığmayan modeller | modelin kendisi bölünür | Modeli daha çok cihaza kopyalamak yer değil, işlem hacmi kazandırır; onu sığdırmak, modeli cihazlara bölmek demektir — bunun nasıl olacağını planlayıcı söyler. |
Bu sayfada hiçbir yerde sayısal bir hızlanma vaat edilmez — vaat, adı konmuş mekanizmalardır: daha küçük güncellemeler göndermek, hesaplamayla iletişimi örtüştürmek, daha hızlı cihazlara daha büyük parçalar vermek.
Doğrusala yakın hızlanma beklenen biçimdir — ve kapsamı nettir: parçaları birbirini beklemek zorunda olmayan işler için geçerlidir ve tarayıcılar arasında henüz ölçülmemiştir. Adım adım eşzamanlı kalan eğitim ise doğrusal altıdır; yavaş eşler ve dizüstünü kapatan insanlar onu en iyi durumda kabaca onlarca kararlı eşle sınırlar ve daha derin koordinasyonla değil, daha seyrek eşzamanlamayla büyür — tarayıcılar arasında havuzlu eğitim henüz bağlanmadı. Havuzlamanın baskın maliyeti matematik değil, katılımcı değişimidir.
Bu sayfanın her cümlesinde iki sınır daha yaşar. Havuzlama işlem hacmini çoğaltır, kapasiteyi değil: tek cihaza sığmayan bir model, onun on kopyasına da sığmaz — onu sığdırmak, modelin kendisini cihazlara bölmek demektir ve hangisinin gerektiğini planlayıcı söyler. Arka plandaki bir tarayıcı sekmesi ise donmuştur, hesap yapmaz: katkı, ön planda ve fişe takılı bir cihaz etrafında tasarlanmıştır. Biz çarpan değil mekanizma vaat ederiz — gerisi dürüst sınırlar sayfasındadır.
“Sunucusuz”, veriyi anlatır; koordinasyonu asla
Bir tarayıcı sekmesi gelen bağlantı kabul edemez; bu yüzden her katılımda ve her yeniden bağlanmada devrede bir koordinatör vardır. Rolü tam olarak söylenir: doğruluk için asla taşıyıcı değildir ve tamamen çevrimdışı koşan solo iş için hiç gerekmez — ama bir havuzu zaman içinde ayakta tutmak için gerçekten gereklidir. Koordinasyon sunucudan geçer; tensörlerinizin geçmemesi amaçlanır: tasarım, baytların büyük kısmını cihazdan cihaza, çoğu ev ve mobil ağda doğrudan taşır — bu veri düzlemi hâlâ aktif olarak devreye alınıyor.
Kurumsal bir güvenlik duvarının arkasında — kilitli kurum ortamında — doğrudan bağlantı çoğunlukla kurulamaz ve trafik bir aktarıcıya düşer. O ortamda aktarıcı kalıcı durumdur; biz de bunu “cihazdan cihaza” diye yuvarlamak yerine açıkça söyleriz — aktarıcının kendisi henüz devrede değil. Her ölçekte tek bir kural geçerlidir: bir sonucu yalnızca eşler birleştirir — koordinatör sıralar ve seçer, asla toplamaz — ve büyük bir havuz koordinasyonunu tek bir noktadan geçirmek yerine dağıtır.
Federe öğrenme bir alt sistem değil, bir ayardır
Federe öğrenme, aynı işin farklı bir ayarıdır: katılan her merkez ham verisini elinde tutar, kendi donanımında eğitir ve yalnızca model güncellemelerini gönderir; bunları da beyan edilmiş bir strateji ortalar. Stratejiler motor kodu değil, sıradan katalog içeriğidir: kararlı konsorsiyumlar için FedAvg, FedProx, SCAFFOLD, DiLoCo ve FedAdam ailesi; gelip giden cihaz filoları için FedBuff ve gossip; tek bir küresel modelin yanlış hedef olduğu yaygın durum için Ditto, FedPer ve kümeli federasyon. Yenisini yazmak sıradan bir yazarlıktır.
Tarif, Model View içinde, diğer tüm eğitim ayarlarının yanında durur — strateji, her turda kimin katıldığı ve (ε, δ) gizlilik hedefi; kırpma sınırı ve gürültü düzeyi orada henüz ayarlanamıyor — ve canlı izleyebileceğiniz gizlilik bütçesi göstergesi tur monitöründedir. Mühendislik somuttur: güncelleme biçimi, federe bir dil modeli çalıştırmasının tam ağırlıklar yerine küçük adaptörler alışverişi yapmasına izin verir — gönderilecek veri kabaca bin kat daha az — ve bu güncellemeleri taşıdıklarını yitirmeden sıkıştırmak, sıradan ev bağlantılarını gerçekten kullanılabilir kılacak olan şeydir. Bir merkezin katkısı henüz uçtan uca çalışmıyor; yani üründe henüz hiçbir federe çalıştırma gerçekleşmedi.
Gizlilik iddiası iki düzeyde söylenir, çünkü ikisi farklıdır. “Ham veri cihazdan asla çıkmaz” baytlar için doğrudur ve bunu aktarım biçiminin kendisi zorunlu kılar: ham bir örneğin içinde taşınabileceği bir alan yoktur. Oysa bir güncelleme verinin bir fonksiyonudur — bazen tersine çevrilebilir bir fonksiyon — bu yüzden bilgi düzeyindeki güvence yalnızca her zaman açık olan bir tabanla ayakta durur: kendi cihazlarınızın dışına çıkan her güncellemenin kırpılması ve hesabı tutulan gizlilik gürültüsü taşıması gerekir; aşımı reddeden bir bütçeye işlenir ve kohortun izin verdiği yerde üstüne güvenli toplama eklenir — kurumlar arasında zorunludur ve gürültünün yerine asla geçmez. Bu taban henüz yürürlükte değil: bugün yalnızca bir tarifin bir gizlilik hedefi bildirdiği yerde bağlar, işlenen ε hesaplanmak yerine dışarıdan verilir, gürültü artık tarayıcının kriptografik olarak güvenli üretecinden çekiliyor ancak henüz hiçbir ürün yolunca uygulanmıyor ve güvenli toplama dürüst ama meraklı (honest-but-curious) bir sunucu varsayar. Regülasyona tabi kohortlar bir konsorsiyumda koşar, başka hiçbir yerde değil.
Doğrulanmış işle sayılır — saatle asla
| Yetenek | Durum | Anlamı |
|---|---|---|
| Gönüllü havuzlama | devreye alınıyor | Kendi cihazlarınız, gönüllüler, konsorsiyumlar — kabul edilen her parça bir kayıt üretir; para el değiştirmez. |
| Katkı defteri | uygulandı | Zincirlenmiş, kurcalanması belli olan bir geçmiş — bir kayıt doğrulamayla üretilir, geçen süreyle asla. |
| Kapasite ilanları | uygulandı | Bir makinenin boştaki donanımını ve boş saatlerini ilan edin — ve hesaplama arayan işlere göz atın. |
| Hesaplama zamanına ödeme | ilan edilmiş sonraki adım | Emanet hesabı, yakılabilen bir teminat ve sağlayıcı güvencesi tek parça halinde gelir — ya hepsi ya hiçbiri. |
| Copilot ve para | tasarım gereği yasak | Hiçbir asistan — bizimki ya da sizinki — ücretli bir havuz kuramaz veya para taşıyamaz; bu, bir ayarla değil sistemin kuruluşuyla reddedilir. |
Hesaplama zamanına ödeme yalnızca ödeme raylarını ekler, asla yeni mekanik değil — ama bu mekanizmayı kullanacak gönüllü havuzun kendisi de hâlâ devreye alınıyor: parçaları uygulanmış ve test edilmiştir, henüz tarayıcılar arasında uçtan uca çalıştırılmamıştır.
Kabul ile sayım aynı sınırdır. Bir sonuç deftere ancak doğrulandıktan sonra girer — bugün, ikinci ve bağımsız bir eşin aynı parça için birebir aynı sonucu döndürmesiyle; beyan edilmiş bir tolerans içinde referansa karşı denetim ve bir eşin öngöremeyeceği nokta denetimleri ise hâlâ devreye alınıyor — ve kabul edilen her birim bir katkı kaydı üretir; kaydın maliyetini planlayıcı, katkı verenin beyanından değil işin kendisinden türetir. Geçen süre asla sayılmaz: sahtesi yapılabilir, yavaşlığı ödüllendirir ve yanıtın doğru olup olmadığına kördür. Açık bir kalabalıkta hedeflenen güvence olasılıksal, ekonomik ve denetlenebilirdir — asla kriptografik ve mutlak değil; bugün yakalanan bir uyuşmazlık işaretlenir, ama henüz düzeltilmez ya da cezalandırılmaz.
Bugün kurulu olan, gönüllü ekonominin mekanizmasıdır: kendi cihazlarınızdan, gönüllülerden ve konsorsiyumlardan kurulan havuzlar — katkı kayıtları, katkı geçmişi ve bir makinenin boştaki donanımını ilan edip hesaplama arayan işlere göz attığı kapasite ilanları — aktif olarak devreye alınıyor, çünkü henüz hiçbir tarayıcı havuzlu bir işi uçtan uca tamamlamadı. Bu, henüz var olmayan bir hesaplama zamanı pazarının arz tarafıdır: bunun ücretlendirilmesi ilan edilmiş bir sonraki adımdır ve bölünmez tek bir bütün olarak gelir — emanet hesabı, yakılabilen bir teminat, sağlayıcı güvencesi — çünkü dolandırıcılığı caydırmadan ödeme yapmak hileyi kârlı kılardı. Bu, paket, model ve veri kümesi satan ve hiçbir zaman hesaplama satmayan Marketplace ile aynı şey değildir. Ve her planda tek bir kural geçerlidir: kendi cihazınızdaki hesaplama hiçbir zaman sayılmaz.