§ Platform / Dağıtık hesaplama
Cihazlarınızı bir havuzda toplayın. Laboratuvarınızı da. Kalabalığı da.
Tek bir mekanizma, erişebildiğiniz cihazları çalışan bir kohorta dönüştürür: bir Job — bir program, onu bölmenin beyan edilmiş bir yolu, sonuçları birleştirmenin beyan edilmiş bir yolu ve kimin katılabileceğine dair bir kural — parçalara ayrılır, eşlerden oluşan bir Pool bunları hesaplar ve her sonuç sayılmadan önce doğrulanır. Aynı mekanizma kendi makinelerinizi, imzalı kurumlardan oluşan bir konsorsiyumu ve yabancılardan oluşan açık bir kalabalığı kapsar — platformun asla birbirine karıştırmadığı üç güven düzeyi.
Solodan sürüye tek mekanizma
Burada dağıtık hesaplama bir alt sistemler ailesi değil, tek bir şeydir. Job sabittir ve içeriğiyle kimliklenir: bir program, işin nerede bölüneceğine dair beyan edilmiş bir kural, sonuçların nasıl birleşeceğine dair beyan edilmiş bir kural ve kimin katılabileceğine dair bir politika. Her parça, kendisine verilen girdilerin tam olarak aynısını ve rastgeleliğin kendine ait, yeniden üretilebilir bir dilimini taşır — böylece herhangi bir eş, kendisine verilen parçayı birebir yeniden hesaplayabilir; geri gelmeyen bir parça yeniden dağıtılır, asla kaybolmaz.
Tek bir biçim; veri-paralel eğitimi, parametre taramalarını, toplulukları, k-fold doğrulamayı, Monte-Carlo simülasyonunu ve toplu analizi kapsar. Tek cihazlı bir Pool, tam olarak aynı kod yolunda sıradan bir solo çalıştırmadır — havuz kurmak çevrimdışı çekirdeği asla zayıflatmaz ve kurduğunuz hiçbir şey başkasının ortaya çıkmasına bağlı değildir. Cihazları sabit bir sırayla dolaşması gereken iş — bir makinenin çıktısının bir sonrakinin girdisi olduğu durum — bu mekanizmanın içine sıkıştırılmak yerine bilinçli olarak ayrı bir mekanizmadır.
Cihazlarınız, bir konsorsiyum ya da açık kalabalık — asla karışmaz
Her havuz kimin katılabileceğini beyan eder ve bu üç yanıt asla tek bir belirsiz güven ayarına indirgenmez. Kendi cihazlarınız — dizüstü, masaüstü, iş istasyonu — tek kohort olarak katılır: tam güven, ek onay adımı yok. Bir konsorsiyum, kurumsal olarak imzalanmış üyelerden kurulur; güvenlik açısından kritik ya da regülasyona tabi işin çalışabileceği tek ortam odur. Açık bir kalabalık ise anonim yabancılardır: salt hesaplama, zaten herkese açık olan girdilerle sınırlı, öngörülemeyen aralıklarla nokta denetimli ve sizin koyduğunuz bir bütçeyle sınırlandırılmış.
Hesaplama ödünç vermek ile ortak düzenleme farklı eylemlerdir ve platform bunları ayrı tutar: bir yabancı size GPU'sunu ödünç verirken verinizden tek satır okumaz, belgenize tek satır yazmaz — aynı belge üzerinde birlikte çalışmak canlı iş birliğidir ve ayrı bir karardır. Dürüstlük ters yönde de işler: işinizi çalıştıran bir eş, üzerinde hesap yaptığı şeyi ister istemez elinde tutar; bu yüzden gizli olarak işaretlediğiniz bir model ya da veri kümesi açık kalabalığı doğrudan reddeder. Daha geniş güven mekanizması güvenlik sayfasındadır.
Taramalar, simülasyonlar ve toplu analiz birinci sınıftır
Boştaki dizüstüler ve iş istasyonları, bağımsız parçalara bölebildiğiniz her işi koşturan tek bir kümede birleşir — bir parametre taraması, bir topluluk, k-fold doğrulama, bir Monte-Carlo simülasyonu, büyük bir veri kümesi üzerinde toplu analiz — hiçbir eğitim mekanizması devreye girmeden: bağımsız parçalar, onları birleştirmenin sade ve beyan edilmiş bir yolu, hiçbir yerde gradyan yok. O an boşta olan eş bir sonraki parçayı alır; böylece yavaş bir eş, ortadan kaybolan bir eş ve arızalanan bir eş üç ayrı yama değil, tek bir kurtarılan durum olur.
Girdiler tek bir kaynaktan tek tek yayılmak yerine eşler arasında dağılır; böylece büyük bir veri kümesi darboğaza dönüşmez. Sonuçlar ancak doğrulamayı geçtikten sonra toplamaya eklenir — kötü bir örneği akan bir ortalamadan geri çıkaramazsınız — ve uzun simülasyonlar milyonlarca örneği belleğe yığmak yerine sabit boyutlu toplayıcılardan akar. Bir tarama çalışırken parça parça dolar; dağıtık hesaplama rehberi bir taramayı baştan sona yürütür.
Ne iyi havuzlanır — ve dürüstçe ne havuzlanmaz
Farklı işler farklı ölçeklenir. Tablo bunu açıkça söyler.
| İş yükü | Ölçekleme | Dürüst nedeni |
|---|---|---|
| Parametre taramaları ve toplu analiz | doğrusala yakın — binlerce eş | Bağımsız parçalar, bekleme yok; boşta olan bir sonrakini alır, böylece geciken bir eş ile arızalanan bir eş aynı kurtarılan durumdur. |
| Monte-Carlo ve topluluklar | doğrusala yakın | Bağımsız tohumlar; yalnızca doğrulamadan sonra sabit boyutlu bir toplayıcıya eklenir. |
| Eşzamanlı kalan eğitim | doğrusal altı — onlarca kararlı eş | Herkes en yavaş olanı bekler; daha seyrek eşzamanlamayla büyür, asla daha derin koordinasyonla değil. |
| Federe öğrenme | katılımcıyla ölçeklenir | Kohort boyutunu ve istatistiksel gücü büyütür — hızı asla. |
| Tek cihaza sığmayan modeller | modelin kendisi bölünür | Modeli daha çok cihaza kopyalamak yer değil, işlem hacmi kazandırır; onu sığdırmak, modeli cihazlara bölmek demektir — bunun nasıl olacağını planlayıcı söyler. |
Bu sayfada hiçbir yerde sayısal bir hızlanma vaat edilmez — vaat, adı konmuş mekanizmalardır: daha küçük güncellemeler göndermek, hesaplamayla iletişimi örtüştürmek, daha hızlı cihazlara daha büyük parçalar vermek.
Binlerce eşe kadar doğrusala yakın hızlanma gerçektir — ve kapsamı nettir: parçaları birbirini beklemek zorunda olmayan işler için geçerlidir. Adım adım eşzamanlı kalan eğitim ise doğrusal altıdır; yavaş eşler ve dizüstünü kapatan insanlar onu kabaca onlarca kararlı eşle sınırlar ve daha derin koordinasyonla değil, daha seyrek eşzamanlamayla büyür. Havuzlamanın baskın maliyeti matematik değil, katılımcı değişimidir.
Bu sayfanın her cümlesinde iki sınır daha yaşar. Havuzlama işlem hacmini çoğaltır, kapasiteyi değil: tek cihaza sığmayan bir model, onun on kopyasına da sığmaz — onu sığdırmak, modelin kendisini cihazlara bölmek demektir ve hangisinin gerektiğini planlayıcı söyler. Arka plandaki bir tarayıcı sekmesi ise donmuştur, hesap yapmaz: katkı; ön planda olan, adanmış ya da fişe takılı bir cihazda sayılır. Biz çarpan değil mekanizma vaat ederiz — gerisi dürüst sınırlar sayfasındadır.
“Sunucusuz”, veriyi anlatır; koordinasyonu asla
Bir tarayıcı sekmesi gelen bağlantı kabul edemez; bu yüzden her katılımda ve her yeniden bağlanmada devrede bir koordinatör vardır. Rolü tam olarak söylenir: doğruluk için asla taşıyıcı değildir ve tamamen çevrimdışı koşan solo iş için hiç gerekmez — ama bir havuzu zaman içinde ayakta tutmak için gerçekten gereklidir. Koordinasyon sunucudan geçer; tensörleriniz geçmez: baytların büyük kısmı cihazdan cihaza akar ve çoğu ev ve mobil ağda bu bağlantı doğrudan kurulur.
Kurumsal bir güvenlik duvarının arkasında — kilitli kurum ortamında — doğrudan bağlantı çoğunlukla kurulamaz ve trafik bir aktarıcıya düşer. O ortamda aktarıcı kalıcı durumdur; biz de bunu “cihazdan cihaza” diye yuvarlamak yerine açıkça söyleriz. Her ölçekte tek bir kural geçerlidir: bir sonucu yalnızca eşler birleştirir — koordinatör sıralar ve seçer, asla toplamaz — ve büyük bir havuz koordinasyonunu tek bir noktadan geçirmek yerine dağıtır.
Federe öğrenme bir alt sistem değil, bir ayardır
Federe öğrenme, aynı işin farklı bir ayarıdır: katılan her merkez ham verisini elinde tutar, kendi donanımında eğitir ve yalnızca model güncellemelerini gönderir; bunları da beyan edilmiş bir strateji ortalar. Stratejiler motor kodu değil, sıradan katalog içeriğidir: kararlı konsorsiyumlar için FedAvg, FedProx, SCAFFOLD, DiLoCo ve FedAdam ailesi; gelip giden cihaz filoları için FedBuff ve gossip; tek bir küresel modelin yanlış hedef olduğu yaygın durum için Ditto, FedPer ve kümeli federasyon. Yenisini yazmak sıradan bir yazarlıktır.
Tarif, Model View içinde, diğer tüm eğitim ayarlarının yanında durur — strateji, her turda kimin katıldığı, her güncellemenin ne kadar kırpıldığı ve ne kadar gürültü taşıdığı, artı canlı izleyebileceğiniz bir gizlilik bütçesi göstergesi. Mühendislik somuttur: federe bir dil modeli çalıştırması, tam ağırlıklar yerine küçük adaptörler alışverişi yapar — gönderilecek veri kabaca bin kat daha az — ve bu güncellemeleri taşıdıklarını yitirmeden sıkıştırmak, sıradan ev bağlantılarını gerçekten kullanılabilir kılan şeydir.
Gizlilik iddiası iki düzeyde söylenir, çünkü ikisi farklıdır. “Ham veri cihazdan asla çıkmaz” baytlar için doğrudur ve bunu aktarım biçiminin kendisi zorunlu kılar: ham bir örneğin içinde taşınabileceği bir alan yoktur. Oysa bir güncelleme verinin bir fonksiyonudur — bazen tersine çevrilebilir bir fonksiyon — bu yüzden bilgi düzeyindeki güvence yalnızca her zaman açık olan bir tabanla ayakta durur: kendi cihazlarınızın dışına çıkan her güncelleme kırpılır ve hesabı tutulan gizlilik gürültüsü taşır; aşımı reddeden bir bütçeye işlenir ve kohortun izin verdiği yerde üstüne güvenli toplama eklenir — kurumlar arasında zorunludur ve gürültünün yerine asla geçmez. Regülasyona tabi kohortlar bir konsorsiyumda koşar, başka hiçbir yerde değil.
Doğrulanmış işle sayılır — saatle asla
| Yetenek | Durum | Anlamı |
|---|---|---|
| Gönüllü havuzlama | bugün canlı | Kendi cihazlarınız, gönüllüler, konsorsiyumlar — kabul edilen her parça bir kayıt üretir; para el değiştirmez. |
| Katkı defteri | bugün canlı | Zincirlenmiş, kurcalanması belli olan bir geçmiş — bir kayıt doğrulamayla üretilir, geçen süreyle asla. |
| Kapasite ilanları | bugün canlı | Bir makinenin boştaki donanımını ve boş saatlerini ilan edin — ve hesaplama arayan işlere göz atın. |
| Hesaplama zamanına ödeme | ilan edilmiş sonraki adım | Emanet hesabı, yakılabilen bir teminat ve sağlayıcı güvencesi tek parça halinde gelir — ya hepsi ya hiçbiri. |
| Copilot ve para | tasarım gereği yasak | Hiçbir asistan — bizimki ya da sizinki — ücretli bir havuz kuramaz veya para taşıyamaz; bu, bir ayarla değil sistemin kuruluşuyla reddedilir. |
Bu mekanizmanın hiçbir parçası çekmecede beklemiyor: gönüllü havuz bugün her birini fiilen kullanıyor — hesaplama zamanına ödeme yalnızca ödeme raylarını ekler, asla yeni mekanik değil.
Kabul ile sayım aynı sınırdır. Bir sonuç deftere ancak doğrulandıktan sonra girer — beyan edilmiş bir tolerans içinde referansa karşı yeniden hesaplanarak, bir eşin öngöremeyeceği anlarda nokta denetimiyle ya da referansın olmadığı yerde birden çok eşin uzlaşmasıyla — ve kabul edilen her birim bir katkı kaydı üretir; kaydın maliyetini planlayıcı, katkı verenin beyanından değil işin kendisinden türetir. Geçen süre asla sayılmaz: sahtesi yapılabilir, yavaşlığı ödüllendirir ve yanıtın doğru olup olmadığına kördür. Açık bir kalabalıkta ortaya çıkan güvence olasılıksal, ekonomik ve denetlenebilirdir — asla kriptografik ve mutlak değil.
Bugün çalışan, gönüllü ekonomidir: kendi cihazlarınızdan, gönüllülerden ve konsorsiyumlardan kurulan havuzlar — katkı kayıtları, katkı geçmişi ve bir makinenin boştaki donanımını ilan edip hesaplama arayan işlere göz attığı kapasite ilanları. Bu, henüz var olmayan bir hesaplama zamanı pazarının arz tarafıdır: bunun ücretlendirilmesi ilan edilmiş bir sonraki adımdır ve bölünmez tek bir bütün olarak gelir — emanet hesabı, yakılabilen bir teminat, sağlayıcı güvencesi — çünkü dolandırıcılığı caydırmadan ödeme yapmak hileyi kârlı kılardı. Bu, paket, model ve veri kümesi satan ve hiçbir zaman hesaplama satmayan Marketplace ile aynı şey değildir. Ve her planda tek bir kural geçerlidir: kendi cihazınızdaki hesaplama hiçbir zaman sayılmaz.