久久精品国产精品亚洲色婷婷丨国产精品午夜福利视频234区丨奇米综合四色77777久久丨三级男人添奶爽爽爽视频丨日韩av无码一区二区三区无码

  • 元宇宙:本站分享元宇宙相關(guān)資訊,資訊僅代表作者觀點與平臺立場無關(guān),僅供參考.

Crypto AI的圣杯:Decentralization訓練的前沿探索

  • 2025年6月12日 13:33

作者:JacobZhao來源:mirror,zhaotaobo.eth

在AI的全價值鏈中,模型訓練是資源消耗最大、技術(shù)門檻最高的環(huán)節(jié),直接決定了模型的能力上限與實際應用效果。相比推理階段的輕量級調(diào)用,訓練過程需要持續(xù)的大規(guī)模算力投入、復雜的數(shù)據(jù)處理流程和高強度的優(yōu)化算法支持,是AI系統(tǒng)構(gòu)建的真正“重工業(yè)”。從架構(gòu)范式來看,訓練方式可劃分為四類:集中化訓練、分布式訓練、聯(lián)邦學習以及本文重點討論的去中心化訓練。

集中化訓練是最常見的傳統(tǒng)方式,由單一機構(gòu)在本地高性能集群內(nèi)完成全部訓練流程,從硬件(如NVIDIAGPU)、底層軟件(CUDA、cuDNN)、集群調(diào)度系統(tǒng)(如Kubernetes),到訓練框架(如基于NCCL后端的PyTorch)所有組件都由統(tǒng)一的控制系統(tǒng)協(xié)調(diào)運行。這種深度協(xié)同的體系結(jié)構(gòu)使得內(nèi)存共享、梯度同步和容錯機制的效率達到最佳,非常適合GPT、Gemini等大規(guī)模模型的訓練,具有效率高、資源可控的優(yōu)勢,但同時存在數(shù)據(jù)壟斷、資源壁壘、能源消耗和單點風險等問題。

分布式訓練(DistributedTraining) 是當前大模型訓練的主流方式,其核心是將模型訓練任務拆解后,分發(fā)至多臺機器協(xié)同執(zhí)行,以突破單機計算與存儲瓶頸。盡管在物理上具備“分布式”特征,但整體仍由中心化機構(gòu)控制調(diào)度與同步,常運行于高速局域網(wǎng)環(huán)境中,通過 NVLink 高速互聯(lián)總線技術(shù),由主節(jié)點統(tǒng)一協(xié)調(diào)各子任務。主流方法包括:

數(shù)據(jù)并行(DataParallel):每個節(jié)點訓練不同數(shù)據(jù)參數(shù)共享,需匹配模型權(quán)重

模型并行(ModelParallel):將模型不同部分部署在不同節(jié)點,實現(xiàn)強擴展性;

管道并行(PipelineParallel):分階段串行執(zhí)行,提高吞吐率;

張量并行(TensorParallel):精細化分割矩陣計算,提升并行粒度。

分布式訓練是“集中控制+分布式執(zhí)行”的組合,類比同一老板遠程指揮多個“辦公室”員工協(xié)作完成任務。目前幾乎所有主流大模型(GPT-4、Gemini、LLaMA等)都是通過此方式完成訓練。

去中心化訓練(DecentralizedTraining) 則代表更具開放性與抗審查特性的未來路徑。其核心特征在于:多個互不信任的節(jié)點(可能是家用電腦、云端GPU或邊緣設(shè)備)在沒有中心協(xié)調(diào)器的情況下協(xié)同完成訓練任務,通常通過協(xié)議驅(qū)動任務分發(fā)與協(xié)作,并借助加密激勵機制確保貢獻的誠實性。該模式面臨的主要挑戰(zhàn)包括:

設(shè)備異構(gòu)與切分困難:異構(gòu)設(shè)備協(xié)調(diào)難度高,任務切分效率低;

通信效率瓶頸:網(wǎng)絡通信不穩(wěn)定,梯度同步瓶頸明顯;

可信執(zhí)行缺失:缺乏可信執(zhí)行環(huán)境,難以驗證節(jié)點是否真正參與計算;

缺乏統(tǒng)一協(xié)調(diào):無中央調(diào)度器,任務分發(fā)、異;貪L機制復雜。

去中心化訓練可以理解為:一群全球的志愿者,各自貢獻算力協(xié)同訓練模型,但“真正可行的大規(guī)模去中心化訓練”仍是一項系統(tǒng)性的工程挑戰(zhàn),涉及系統(tǒng)架構(gòu)、通信協(xié)議、密碼安全、經(jīng)濟機制、模型驗證等多個層面,但能否“協(xié)同有效+激勵誠實+結(jié)果正確”尚處于早期原型探索階段。

聯(lián)邦學習(FederatedLearning) 作為分布式與去中心化之間的過渡形態(tài),強調(diào)數(shù)據(jù)本地保留、模型參數(shù)集中聚合,適用于注重隱私合規(guī)的場景(如醫(yī)療、金融)。聯(lián)邦學習具有分布式訓練的工程結(jié)構(gòu)和局部協(xié)同能力,同時兼具去中心化訓練的數(shù)據(jù)分散優(yōu)勢,但仍依賴可信協(xié)調(diào)方,并不具備完全開放與抗審查的特性?梢钥醋魇窃陔[私合規(guī)場景下的一種“受控去中心化”方案,在訓練任務、信任結(jié)構(gòu)與通信機制上均相對溫和,更適合作為工業(yè)界過渡性部署架構(gòu)。AI訓練范式全景對比表(技術(shù)架構(gòu)×信任激勵×應用特征)

去中心化訓練的邊界、機會與現(xiàn)實路徑

從訓練范式來看,去中心化訓練并不適用于所有任務類型。在某些場景中,由于任務結(jié)構(gòu)復雜、資源需求極高或協(xié)作難度大,其天然不適合在異構(gòu)、去信任的節(jié)點之間高效完成。例如大模型訓練往往依賴高顯存、低延遲與高速帶寬,難以在開放網(wǎng)絡中有效切分與同步;數(shù)據(jù)隱私與主權(quán)限制強的任務(如醫(yī)療、金融、涉密數(shù)據(jù))受限于法律合規(guī)與倫理約束,無法開放共享;而缺乏協(xié)作激勵基礎(chǔ)的任務(如企業(yè)閉源模型或內(nèi)部原型訓練)則缺少外部參與動力。這些邊界共同構(gòu)成了當前去中心化訓練的現(xiàn)實限制。

但這并不意味著去中心化訓練是偽命題。事實上,在結(jié)構(gòu)輕量、易并行、可激勵的任務類型中,去中心化訓練展現(xiàn)出明確的應用前景。包括但不限于:LoRA微調(diào)、行為對齊類后訓練任務(如RLHF、DPO)、數(shù)據(jù)眾包訓練與標注任務、資源可控的小型基礎(chǔ)模型訓練,以及邊緣設(shè)備參與的協(xié)同訓練場景。這些任務普遍具備高并行性、低耦合性和容忍異構(gòu)算力的特征,非常適合通過P2P網(wǎng)絡、Swarm協(xié)議、分布式優(yōu)化器等方式進行協(xié)作式訓練。

去中心化訓練任務適配性總覽表

去中心化訓練經(jīng)典項目解析

目前在去中心化訓練與聯(lián)邦學習前沿領(lǐng)域中,具有代表性的Blockchain項目主要包括 PrimeIntellect、Pluralis.ai、Gensyn、NousResearch 與 Flock.io。從技術(shù)創(chuàng)新性與工程實現(xiàn)難度來看,PrimeIntellect、NousResearch和Pluralis.ai 在系統(tǒng)架構(gòu)與算法設(shè)計上提出了較多原創(chuàng)性探索,代表了當前理論研究的前沿方向;而 Gensyn與Flock.io 的實現(xiàn)路徑相對清晰,已能看到初步的工程化進展。本文將依次解析這五個項目背后的核心技術(shù)與工程架構(gòu)路,并進一步探討其在去中心化AI訓練體系中的差異與互補關(guān)系。PrimeIntellect:訓練軌跡可驗證的強化學習協(xié)同網(wǎng)絡先行者

PrimeIntellect致力于構(gòu)建一個無需信任的AI訓練網(wǎng)絡,讓任何人都能參與訓練,并對其計算貢獻獲得可信的獎勵。PrimeIntellect希望通過PRIME-RL+TOPLOC+SHARDCAST三大模塊,構(gòu)建一個具有可驗證性、開放性、激勵機制完備的AI去中心化訓練系統(tǒng)。一、PrimeIntellect協(xié)議棧結(jié)構(gòu)與關(guān)鍵模塊價值

二、PrimeIntellect訓練關(guān)鍵機制詳解

PRIME-RL:解耦式異步強化學習任務架構(gòu)

PRIME-RL是PrimeIntellect為去中心化訓練場景定制的任務建模與執(zhí)行框架,專為異構(gòu)網(wǎng)絡與異步參與設(shè)計。它采用強化學習作為優(yōu)先適配對象,將訓練、推理與權(quán)重上傳過程結(jié)構(gòu)性解耦,使每個訓練節(jié)點可以在本地獨立完成任務循環(huán),并通過標準化接口與驗證和聚合機制協(xié)同。相比傳統(tǒng)監(jiān)督學習流程,PRIME-RL更適合在無中心調(diào)度的環(huán)境中實現(xiàn)彈性訓練,既降低了系統(tǒng)復雜度,也為支持多任務并行和策略演化奠定了基礎(chǔ)。

TOPLOC:輕量級訓練行為驗證機制

TOPLOC(TrustedObservation&Policy-LocalityCheck)是PrimeIntellect提出的訓練可驗證性核心機制,用于判斷一個節(jié)點是否真的基于觀測數(shù)據(jù)完成了有效的策略學習。與ZKML等重型方案不同,TOPLOC不依賴全模型重計算,而是通過分析“觀測序列策略更新”之間的局部一致性軌跡,完成輕量化結(jié)構(gòu)驗證。它首次將訓練過程中的行為軌跡轉(zhuǎn)化為可驗證對象,是實現(xiàn)無需信任訓練獎勵分配的關(guān)鍵創(chuàng)新,為構(gòu)建可審計、可激勵的去中心化協(xié)作訓練網(wǎng)絡提供了可行路徑。

SHARDCAST:異步權(quán)重聚合與傳播協(xié)議

SHARDCAST是PrimeIntellect設(shè)計的權(quán)重傳播與聚合協(xié)議,專為異步、帶寬受限與節(jié)點狀態(tài)多變的真實網(wǎng)絡環(huán)境而優(yōu)化。它結(jié)合gossip傳播機制與局部同步策略,允許多個節(jié)點在不同步狀態(tài)下持續(xù)提交部分更新,實現(xiàn)權(quán)重的漸進式收斂與多版本演化。相比集中式或同步式AllReduce方法,SHARDCAST顯著提升了去中心化訓練的可擴展性與容錯能力,是構(gòu)建穩(wěn)定權(quán)重共識與持續(xù)訓練迭代的核心基礎(chǔ)。

OpenDiLoCo:稀疏異步通信框架

OpenDiLoCo是PrimeIntellect團隊基于DeepMind提出的DiLoCo理念獨立實現(xiàn)并開源的通信優(yōu)化框架,專為去中心化訓練中常見的帶寬受限、設(shè)備異構(gòu)與節(jié)點不穩(wěn)定等挑戰(zhàn)而設(shè)計。其架構(gòu)基于數(shù)據(jù)并行,通過構(gòu)建Ring、Expander、Small-World等稀疏拓撲結(jié)構(gòu),避免了全局同步的高通信開銷,僅依賴局部鄰居節(jié)點即可完成模型協(xié)同訓練。結(jié)合異步更新與斷點容錯機制,OpenDiLoCo使消費級GPU與邊緣設(shè)備也能穩(wěn)定參與訓練任務,顯著提升了全球協(xié)作訓練的可參與性,是構(gòu)建去中心化訓練網(wǎng)絡的關(guān)鍵通信基礎(chǔ)設(shè)施之一。

PCCL:協(xié)同通信庫

PCCL(PrimeCollectiveCommunicationLibrary) 是PrimeIntellect為去中心化AI訓練環(huán)境量身打造的輕量級通信庫,旨在解決傳統(tǒng)通信庫(如NCCL、Gloo)在異構(gòu)設(shè)備、低帶寬網(wǎng)絡中的適配瓶頸。PCCL支持稀疏拓撲、梯度壓縮、低精度同步與斷點恢復,可運行于消費級GPU與不穩(wěn)定節(jié)點,是支撐OpenDiLoCo協(xié)議異步通信能力的底層組件。它顯著提升了訓練網(wǎng)絡的帶寬容忍度與設(shè)備兼容性,為構(gòu)建真正開放、無需信任的協(xié)同訓練網(wǎng)絡打通了“最后一公里”的通信基礎(chǔ)。三、PrimeIntellect激勵網(wǎng)絡與角色分工

PrimeIntellect構(gòu)建了一個無需許可、可驗證、具備經(jīng)濟激勵機制的訓練網(wǎng)絡,使任何人都能參與任務并基于真實貢獻獲得獎勵。協(xié)議運行基于三類核心角色:

任務發(fā)起者:定義訓練環(huán)境、初始模型、獎勵函數(shù)與驗證標準

訓練節(jié)點:執(zhí)行本地訓練,提交權(quán)重更新及觀測軌跡

驗證節(jié)點:使用TOPLOC機制驗證訓練行為的真實性,并參與獎勵計算與策略聚合

協(xié)議核心流程包括任務發(fā)布、節(jié)點訓練、軌跡驗證、權(quán)重聚合(SHARDCAST)與獎勵發(fā)放,構(gòu)成一個圍繞“真實訓練行為”的激勵閉環(huán)。四、INTELLECT-2:首個可驗證去中心化訓練模型的發(fā)布

PrimeIntellect于2025年5月發(fā)布了 INTELLECT-2,這是全球首個由異步、無需信任的去中心化節(jié)點協(xié)作訓練而成的強化學習大模型,參數(shù)規(guī)模達 32B。INTELLECT-2模型由遍布三大洲的100+GPU異構(gòu)節(jié)點協(xié)同訓練完成,使用完全異步架構(gòu),訓練時長超400小時,展示出異步協(xié)作網(wǎng)絡的可行性與穩(wěn)定性。這一模型不僅是一次性能上的突破,更是PrimeIntellect所提出“訓練即共識”范式的首次系統(tǒng)落地。INTELLECT-2集成了 PRIME-RL(異步訓練結(jié)構(gòu))、TOPLOC(訓練行為驗證) 與 SHARDCAST(異步權(quán)重聚合) 等核心協(xié)議模塊,標志著去中心化訓練網(wǎng)絡首次實現(xiàn)了訓練過程的開放化、驗證性與經(jīng)濟激勵閉環(huán)。

在性能方面,INTELLECT-2基于QwQ-32B訓練并在代碼和數(shù)學上做了專門的RL訓練,處于當前開源RL微調(diào)模型的前沿水準。盡管尚未超越GPT-4或Gemini等閉源模型,但其真正的意義在于:它是全球首個完整訓練過程可復現(xiàn)、可驗證、可審計的去中心化模型實驗。PrimeIntellect不僅開源了模型,更重要的是開源了訓練過程本身 ——訓練數(shù)據(jù)、策略更新軌跡、驗證流程與聚合邏輯均透明可查,構(gòu)建了一個人人可參與、可信協(xié)作、共享收益的去中心化訓練網(wǎng)絡原型。五、團隊與融資背景

PrimeIntellect于2025年2月完成1500萬美元種子輪融資,由FoundersFund領(lǐng)投,MenloVentures、AndrejKarpathy、ClemDelangue、DylanPatel、BalajiSrinivasan、EmadMostaque、SandeepNailwal等多位行業(yè)領(lǐng)袖參投。此前,項目于2024年4月完成550萬美元早期輪融資,由CoinFund和DistributedGlobal共同領(lǐng)投,CompoundVC、Collab+Currency、ProtocolLabs等機構(gòu)亦有參與。截至目前,PrimeIntellect累計融資已超過2000萬美元。

PrimeIntellect的聯(lián)合創(chuàng)始人是VincentWeisser和JohannesHagemann,團隊成員背景橫跨AI與Web3領(lǐng)域,核心成員來自MetaAI、GoogleResearch、OpenAI、Flashbots、StabilityAI及Ethereum基金會,具備系統(tǒng)架構(gòu)設(shè)計與分布式工程落地的深厚能力,是當前極少數(shù)成功完成真實去中心化大模型訓練的執(zhí)行型團隊之一。Pluralis:異步模型并行與結(jié)構(gòu)壓縮協(xié)同訓練的范式探索者

Pluralis是一個專注于“可信協(xié)同訓練網(wǎng)絡”的Web3AI項目,其核心目標是推動一種去中心化、開放式參與、并具備長期激勵機制的模型訓練范式。與當前主流集中式或封閉式訓練路徑不同,Pluralis提出了一種名為 ProtocolLearning(協(xié)議學習) 的全新理念:將模型訓練過程“協(xié)議化”,通過可驗證協(xié)作機制和模型所有權(quán)映射,構(gòu)建一個具備內(nèi)生激勵閉環(huán)的開放訓練系統(tǒng)。一、核心理念:PotocolLearning(協(xié)議學習)

Pluralis提出的ProtocolLearning包含三大關(guān)鍵支柱:

不可提取模型(UnmaterializableModels)模型以碎片形式分布在多個節(jié)點之間,任何單一節(jié)點無法還原完整權(quán)重保持閉源。這種設(shè)計使模型天然成為“協(xié)議內(nèi)資產(chǎn)”,可實現(xiàn)訪問憑證控制、外泄防護與收益歸屬綁定。

基于互聯(lián)網(wǎng)的模型并行訓練(Model-parallelTrainingoverInternet)通過異步Pipeline模型并行機制(SWARM架構(gòu)),不同節(jié)點僅持有部分權(quán)重,通過低帶寬網(wǎng)絡協(xié)作完成訓練或推理。

按貢獻分配模型所有權(quán)(PartialOwnershipforIncentives)**所有參與節(jié)點根據(jù)其訓練貢獻獲得模型部分所有權(quán),從而享有未來收益分成及協(xié)議治理權(quán)。二、Pluralis協(xié)議棧的技術(shù)架構(gòu)

三、關(guān)鍵技術(shù)機制詳解

UnmaterializableModels

在《AThirdPath:ProtocolLearning》中首次系統(tǒng)提出,模型權(quán)重以碎片形式分布,保障“模型資產(chǎn)”只能在Swarm網(wǎng)絡中運行,確保其訪問與收益皆受協(xié)議控制。此機制是實現(xiàn)去中心化訓練可持續(xù)激勵結(jié)構(gòu)的前提。

AsynchronousModel-ParallelTraining

在《SWARMParallelwithAsynchronousUpdates》中,Pluralis構(gòu)建了基于Pipeline的異步模型并行架構(gòu),并首次在LLaMA-3上進行實證。核心創(chuàng)新在于引入 NesterovAcceleratedGradient(NAG) 機制,有效修正異步更新過程中的梯度漂移與收斂不穩(wěn)問題,使異構(gòu)設(shè)備間的訓練在低帶寬環(huán)境下具備實際可行性。

Column-SpaceSparsification

在《BeyondTop-K》中提出,通過結(jié)構(gòu)感知的列空間壓縮方法代替?zhèn)鹘y(tǒng)Top-K,避免破壞語義路徑。該機制兼顧模型準確性與通信效率,實測在異步模型并行環(huán)境中可壓縮90%以上通信數(shù)據(jù),是實現(xiàn)結(jié)構(gòu)感知高效通信的關(guān)鍵突破。四、技術(shù)定位與路徑選擇

Pluralis明確以 “異步模型并行” 為核心方向,強調(diào)其相較于數(shù)據(jù)并行具備以下優(yōu)勢:

支持 低帶寬網(wǎng)絡 與 非一致性節(jié)點;

適配 設(shè)備異構(gòu),允許消費級GPU參與;

天然具備 彈性調(diào)度 能力,支持節(jié)點頻繁上線/離線;

以 結(jié)構(gòu)壓縮+異步更新+權(quán)重不可提取性 為三大突破點。

目前根據(jù)官方網(wǎng)站公布的六篇技術(shù)博客文檔,邏輯結(jié)構(gòu)整合為以下三個主線:

哲學與愿景:《AThirdPath:ProtocolLearning》《WhyDecentralizedTrainingMatters》

技術(shù)機制細節(jié):《SWARMParallel》《BeyondTop-K》《AsynchronousUpdates》

制度創(chuàng)新探索:《UnmaterializableModels》《PartialOwnershipProtocols》

目前Pluralis尚未上線產(chǎn)品、測試網(wǎng)或代碼開源,原因在于其所選擇的技術(shù)路徑極具挑戰(zhàn):需先解決底層系統(tǒng)架構(gòu)、通信協(xié)議、權(quán)重不可導出等系統(tǒng)級難題,才可能向上封裝產(chǎn)品服務。

在2025年6月PluralisResearch發(fā)布的新論文中,將其去中心化訓練框架從模型預訓練拓展到了模型微調(diào)階段,支持異步更新、稀疏通信與部分權(quán)重聚合,相比此前偏重理論與預訓練的設(shè)計,本次工作更注重落地可行性,標志著其在訓練全周期架構(gòu)上的進一步成熟。五、團隊與融資背景

Pluralis于 2025年完成了760萬美元的種子輪融資,由 UnionSquareVentures(USV) 與 CoinFund 聯(lián)合領(lǐng)投。創(chuàng)始人AlexanderLong來自機器學習博士背景,具備數(shù)學與系統(tǒng)研究雙重背景。核心成員全部由擁有博士背景的機器學習研究者組成,是典型的技術(shù)驅(qū)動型項目,以高密度論文與技術(shù)博客為主要發(fā)布路徑,當前尚未建立BD/Growth團隊而專注于攻克低帶寬異步模型并行的基礎(chǔ)架構(gòu)難題。Gensyn:以可驗證執(zhí)行驅(qū)動的去中心化訓練協(xié)議層

Gensyn 是一個專注于“深度學習訓練任務可信執(zhí)行”的Web3AI項目,核心不在于重構(gòu)模型架構(gòu)或訓練范式,而在于構(gòu)建一個具備“任務分發(fā)+訓練執(zhí)行+結(jié)果驗證+公平激勵”全流程的可驗證分布式訓練執(zhí)行網(wǎng)絡。通過鏈下訓練+鏈上驗證的架構(gòu)設(shè)計,Gensyn建立起一個高效、開放、可激勵的全球訓練市場,使“訓練即Mining”成為現(xiàn)實。一、項目定位:訓練任務的執(zhí)行協(xié)議層

Gensyn不是“怎么訓練”,而是“由誰訓練、如何驗證、如何分潤”的基礎(chǔ)設(shè)施。其本質(zhì)是訓練任務的可驗證計算協(xié)議,其主要解決:

誰來執(zhí)行訓練任務(算力分發(fā)與動態(tài)匹配)

如何驗證執(zhí)行結(jié)果(無需全重算,僅驗證爭議算子)

如何分配訓練收益(Stake、Slashing與多角色博弈機制)二、技術(shù)架構(gòu)總覽

三、模塊詳解

RLSwarm:協(xié)同強化學習訓練系統(tǒng)

Gensyn首創(chuàng)的RLSwarm 是一種面向后訓練階段的去中心化多模型協(xié)同優(yōu)化系統(tǒng),具備以下核心特性:

分布式推理與學習流程:

生成階段(Answering):每個節(jié)點獨立輸出答案;

批評階段(Critique):節(jié)點互相點評他人輸出,選出最優(yōu)答案與邏輯;

共識階段(Resolving):預測大多數(shù)節(jié)點偏好并據(jù)此修改自身回答,實現(xiàn)局部權(quán)重更新。

Gensyn所提出的RLSwarm是一個去中心化的多模型協(xié)同優(yōu)化系統(tǒng),每個節(jié)點運行獨立模型并進行本地訓練,無需梯度同步,天然適應異構(gòu)算力與不穩(wěn)定網(wǎng)絡環(huán)境,同時支持節(jié)點彈性接入與退出。該機制借鑒RLHF與多智能體博弈的思路,但更貼近協(xié)同推理網(wǎng)絡的動態(tài)演化邏輯,節(jié)點根據(jù)與群體共識結(jié)果的一致程度獲得獎勵,從而驅(qū)動推理能力的持續(xù)優(yōu)化與趨同學習。RLSwarm顯著提升了模型在開放網(wǎng)絡下的穩(wěn)健性與泛化能力,已作為核心執(zhí)行模塊率先在Gensyn基于EthereumRollup的 TestnetPhase0 中部署上線。

Verde+Proof-of-Learning:可信驗證機制

Gensyn的Verde模塊結(jié)合了三種機制:

Proof-of-Learning:基于梯度軌跡與訓練元數(shù)據(jù)判斷訓練是否真實發(fā)生;

Graph-BasedPinpoint:定位訓練計算圖中的分歧節(jié)點,僅需重算具體操作;

RefereedDelegation:采用仲裁式驗證機制,由verifier與challenger提出爭議并局部驗證,極大降低驗證成本。

相較于ZKP或全重算驗證方案,Verde方案在可驗證性與效率之間取得更優(yōu)平衡。

SkipPipe:通信容錯優(yōu)化機制

SkipPipe是為了解決“低帶寬+節(jié)點掉線”場景下的通信瓶頸問題,其核心能力包括:

跳層機制(SkipRatio):跳過受限節(jié)點,避免訓練阻塞;

動態(tài)調(diào)度算法:實時生成最優(yōu)執(zhí)行路徑;

容錯執(zhí)行:即使50%節(jié)點失效,推理精度僅下降約7%。

支持訓練吞吐提升高達55%,并實現(xiàn)“early-exit推理”、“無縫重排”、“推理補全”等關(guān)鍵能力。

HDEE:跨領(lǐng)域異構(gòu)專家集群

HDEE(HeterogeneousDomain-ExpertEnsembles)模塊致力于優(yōu)化以下場景:

多領(lǐng)域、多模態(tài)、多任務訓練;

各類訓練數(shù)據(jù)分布不均衡、難度差異大;

設(shè)備計算能力異構(gòu)、通信帶寬不一致的環(huán)境下任務分配與調(diào)度問題。

其核心特性:

MHe-IHo:為不同難度的任務分配不同大小的模型(模型異構(gòu)、訓練步長一致);

MHo-IHe:任務難度統(tǒng)一、但訓練步長異步調(diào)整;

支持異構(gòu)專家模型+可插拔訓練策略,提升適應性與容錯性;

強調(diào)“并行協(xié)同+極低通信+動態(tài)專家分配”,適用于現(xiàn)實中復雜的任務生態(tài)。

多角色博弈機制:信任與激勵并行

Gensyn網(wǎng)絡引入四類參與者:

Submitter:發(fā)布訓練任務、設(shè)定結(jié)構(gòu)與預算;

Solver:執(zhí)行訓練任務,提交結(jié)果;

Verifier:驗證訓練行為,確保其合規(guī)有效;

Whistleblower:挑戰(zhàn)驗證者,獲取仲裁獎勵或承擔罰沒。

該機制靈感來源于Truebit經(jīng)濟博弈設(shè)計,通過強制插入錯誤+隨機仲裁,激勵參與者誠實協(xié)作,確保網(wǎng)絡可信運行。四、測試網(wǎng)與路線圖規(guī)劃

五、團隊與融資背景

Gensyn由BenFielding和HarryGrieve聯(lián)合創(chuàng)立,總部位于英國倫敦。2023年5月,Gensyn宣布完成由a16zcrypto領(lǐng)投的4,300萬美元A輪融資,其他投資方包括CoinFund、Canonical、EtherealVentures、Factor和EdenBlock。團隊背景融合分布式系統(tǒng)與機器學習工程經(jīng)驗,長期致力于構(gòu)建可驗證、去信任化的大規(guī)模AI訓練執(zhí)行網(wǎng)絡。NousResearch:主體性AI理念驅(qū)動的認知演化式訓練系統(tǒng)

NousResearch 是目前少數(shù)兼具哲學高度與工程實現(xiàn)的去中心化訓練團隊,其核心愿景源于“DesideraticAI”理念:將AI視為具有主觀性與演化能力的智能主體,而非單純的可控工具。NousResearch的獨特性在于:它不是將AI訓練當作“效率問題”來優(yōu)化,而是將其視為“認知主體”的形成過程。在這一愿景驅(qū)動下,Nous聚焦構(gòu)建一個由異構(gòu)節(jié)點協(xié)同訓練、無需中心調(diào)度、可抗審查驗證的開放式訓練網(wǎng)絡,并通過全棧式工具鏈進行系統(tǒng)化落地。一、理念支撐:重新定義訓練的“目的”

Nous并未在激勵設(shè)計或協(xié)議經(jīng)濟學上投入過多,而是試圖改變訓練本身的哲學前提:

反對“alignmentism”:不認同以人類控制為唯一目標的“調(diào)教式訓練”,主張訓練應鼓勵模型形成獨立認知風格;

強調(diào)模型主體性:認為基礎(chǔ)模型應保留不確定性、多樣性與幻覺生成能力(hallucinationasvirtue);

模型訓練即認知形成:模型不是“優(yōu)化任務完成度”,而是參與認知演化過程的個體。

這一訓練觀雖然“浪漫”,但反映出Nous設(shè)計訓練基礎(chǔ)設(shè)施的核心邏輯:如何讓異構(gòu)模型在開放網(wǎng)絡中演化,而非被統(tǒng)一規(guī)訓。二、訓練核心:Psyche網(wǎng)絡與DisTrO優(yōu)化器

Nous對去中心化訓練最關(guān)鍵的貢獻,是構(gòu)建了 Psyche網(wǎng)絡 與底層通信優(yōu)化器 DisTrO(DistributedTrainingOver-the-Internet),共同構(gòu)成訓練任務的執(zhí)行中樞:DisTrO+Psyche網(wǎng)絡具備多項核心能力,包括通信壓縮(采用DCT+1-bitsign編碼,極大降低帶寬需求)、節(jié)點適配性(支持異構(gòu)GPU、斷線重連與自主退出)、異步容錯(無需同步亦可持續(xù)訓練,具備高容錯性)、以及去中心化調(diào)度機制(無需中心協(xié)調(diào)器,基于Blockchain實現(xiàn)共識與任務分發(fā))。這一架構(gòu)為低成本、強彈性、可驗證的開放訓練網(wǎng)絡提供了現(xiàn)實可行的技術(shù)基礎(chǔ)。

Hermes開源模型系列:Hermes1至3是Nous推出的代表性開源大模型,基于LLaMA3.1訓練,涵蓋8B、70B和405B三種參數(shù)規(guī)模。該系列旨在體現(xiàn)Nous所倡導的“去指令化、保留多樣性”訓練理念,在長上下文保持、角色扮演、多輪對話等方面展現(xiàn)出更強的表達力與泛化能力。

ForgeReasoningAPI:多模式推理系統(tǒng)Forge是Nous自研的推理框架,結(jié)合三種互補機制以實現(xiàn)更具彈性與創(chuàng)造力的推理能力:MCTS(MonteCarloTreeSearch):適用于復雜任務的策略搜索;CoC(ChainofCode):引入代碼鏈與邏輯推理的結(jié)合路徑;MoA(MixtureofAgents):允許多個模型進行協(xié)商,提升輸出的廣度與多樣性。該系統(tǒng)強調(diào)“非確定性推理”與組合式生成路徑,是對傳統(tǒng)指令對齊范式的有力回應。

TEE_HEE:AI自主代理實驗:TEE_HEE是Nous在自治代理方向的前沿探索,旨在驗證AI是否能夠在可信執(zhí)行環(huán)境(TEE)中獨立運行并擁有唯一的數(shù)字身份。該代理具備專屬的Twitter和Ethereum賬戶,所有控制權(quán)限由遠程可驗證的enclave管理,開發(fā)者無法干預其行為。實驗目標是構(gòu)建具備“不可篡改性”與“獨立行為意圖”的AI主體,邁出構(gòu)建自治型智能體的重要一步。

AI行為模擬器平臺:Nous還開發(fā)了包括WorldSim、Doomscroll、Gods&S8n等多個模擬器,用于研究AI在多角色社會環(huán)境中的行為演化與價值形成機制。盡管不直接參與訓練流程,這些實驗為長期自治AI的認知行為建模奠定了語義層基礎(chǔ)。四、團隊與融資概況NousResearch成立于2023年,由JeffreyQuesnelle(CEO)、KaranMalhotra、Teknium、ShivaniMitra等人聯(lián)合創(chuàng)辦。團隊以哲學驅(qū)動與系統(tǒng)工程并重,擁有機器學習、系統(tǒng)安全、去中心化網(wǎng)絡等多元背景。2024年獲得520萬美元種子輪融資,2025年4月,完成由Paradigm領(lǐng)投的5,000萬美元A輪融資,估值達10億美元,躋身Web3AI獨角獸行列。

Flock:Blockchain增強型聯(lián)邦學習網(wǎng)絡 Flock.io 是一個基于Blockchain的聯(lián)邦學習平臺,旨在實現(xiàn)AI訓練的數(shù)據(jù)、計算和模型的去中心化。FLock傾向于“聯(lián)邦學習+Blockchain獎勵層”的整合框架,本質(zhì)上是對傳統(tǒng)FL架構(gòu)的鏈上演進版本,而非構(gòu)建全新訓練協(xié)議的系統(tǒng)性探索。與Gensyn、PrimeIntellect、NousResearch和Pluralis等去中心化訓練項目相比,F(xiàn)lock側(cè)重隱私保護與可用性改進,而非在通信、驗證或訓練方法上展開理論突破,其真正適合對比的對象為Flower、FedML、OpenFL等聯(lián)邦學習系統(tǒng)。一、Flock.io 的核心機制

聯(lián)邦學習架構(gòu):強調(diào)數(shù)據(jù)主權(quán)與隱私保護Flock基于經(jīng)典聯(lián)邦學習(FederatedLearning,FL)范式,允許多個數(shù)據(jù)擁有者在不共享原始數(shù)據(jù)的前提下協(xié)同訓練統(tǒng)一模型,重點解決數(shù)據(jù)主權(quán)、安全與信任問題。核心流程包括:本地訓練:每個參與者(Proposer)在本地設(shè)備上訓練模型,不上傳原始數(shù)據(jù);鏈上聚合:訓練完成后提交本地權(quán)重更新,由鏈上Miner聚合為全局模型;委員會評估:通過VRF隨機選舉Voter節(jié)點使用獨立測試集評估聚合模型效果并打分;激勵與懲罰:根據(jù)得分結(jié)果執(zhí)行獎勵或罰沒抵押金,實現(xiàn)抗作惡與動態(tài)信任維護。

Blockchain集成:實現(xiàn)去信任的系統(tǒng)協(xié)調(diào)Flock將訓練過程的核心環(huán)節(jié)(任務分配、模型提交、評估評分、激勵執(zhí)行)全部鏈上化,以實現(xiàn)系統(tǒng)透明、可驗證與抗審查。主要機制包括:VRF隨機選舉機制:提升Proposer與Voter的輪換公平性與抗操控能力;權(quán)益抵押機制(PoS):通過Tokens抵押與懲罰約束節(jié)點行為,提升系統(tǒng)魯棒性;鏈上激勵自動執(zhí)行:通過智能合約實現(xiàn)任務完成與評估結(jié)果綁定的獎勵分發(fā)與slashing扣罰,構(gòu)建無需信任中介的協(xié)作網(wǎng)絡。

zkFL:零知識聚合機制的隱私保護創(chuàng)新:Flock引入zkFL零知識聚合機制,使Proposer可提交本地更新的零知識證明,Voter無需訪問原始梯度即可驗證其正確性,在保障隱私的同時提升訓練過程的可信性,代表了聯(lián)邦學習在隱私保護與可驗證性融合方向上的重要創(chuàng)新。

二、Flock的核心產(chǎn)品組件AIArena:是 Flock.io 的去中心化訓練平臺,用戶可通過 train.flock.io 參與模型任務,擔任訓練者、驗證者或委托者角色,通過提交模型、評估表現(xiàn)或委托Tokens獲得獎勵。目前任務由官方發(fā)布,未來將逐步開放給社區(qū)共創(chuàng)。FLAlliance:是Flock聯(lián)邦學習客戶端,支持參與者使用私有數(shù)據(jù)對模型進一步微調(diào)。通過VRF選舉、staking與slashing機制,保障訓練過程的誠實性與協(xié)作效率,是連接社區(qū)初訓與真實部署的關(guān)鍵環(huán)節(jié)。AIMarketplace:是模型共創(chuàng)與部署平臺,用戶可提議模型、貢獻數(shù)據(jù)、調(diào)用模型服務,支持數(shù)據(jù)庫接入與RAG強化推理,推動AI模型在各類實際場景中的落地與流通。

三、團隊與融資概況 Flock.io 由SunJiahao創(chuàng)立,已發(fā)行平臺TokensFLOCK。項目累計融資1,100萬美元,投資方包括DCG、LightspeedFaction、TagusCapital、AnimocaBrands、Fenbushi、OKXVentures等。2024年3月,F(xiàn)lock完成600萬美元種子輪融資,用于啟動測試網(wǎng)及聯(lián)邦學習客戶端;同年12月追加300萬美元融資,并獲得Ethereum基金會資助,專注研究Blockchain驅(qū)動的AI激勵機制。目前,平臺創(chuàng)建6428個模型,接入訓練節(jié)點176個、驗證節(jié)點236個、委托者1178個。

相較于去中心化訓練項目,F(xiàn)lock這類基于聯(lián)邦學習的系統(tǒng)在訓練效率、可擴展性與隱私保護方面更具優(yōu)勢,尤其適用于中小規(guī)模模型的協(xié)同訓練,方案務實且易于落地,更偏向工程層面的可行性優(yōu)化;而Gensyn、Pluralis等項目則在訓練方法與通信機制上追求更深層次的理論突破,系統(tǒng)挑戰(zhàn)更大,但也更貼近真正的“去信任、去中心”的訓練范式探索。

EXO:邊緣計算的去中心化訓練嘗試EXO是當前邊緣計算場景中極具代表性的AI項目,致力于在家庭級消費設(shè)備上實現(xiàn)輕量化的AI訓練、推理與Agent應用。其去中心化訓練路徑強調(diào)“低通信開銷+本地自主執(zhí)行”,采用DiLoCo異步延遲同步算法與SPARTA稀疏參數(shù)交換機制,大幅降低多設(shè)備協(xié)同訓練的帶寬需求。系統(tǒng)層面,EXO并未構(gòu)建鏈上網(wǎng)絡或引入經(jīng)濟激勵機制,而是推出單機多進程模擬框架EXOGym,支持研究者在本地環(huán)境中便捷開展分布式訓練方法的快速驗證與實驗。一、核心機制概覽DiLoCo異步訓練:每H步進行一次節(jié)點同步,適配非穩(wěn)定網(wǎng)絡;SPARTA稀疏同步:每步僅交換極少量參數(shù)(如0.1%),保持模型相關(guān)性并降低帶寬需求;異步組合優(yōu)化:兩者可組合使用,在通信與性能之間取得更優(yōu)折中。evML驗證機制探索:Edge-VerifiedMachineLearning(evML)提出使用TEE/SecureContext進行低成本計算驗證,通過遠程驗證+抽查機制實現(xiàn)無需質(zhì)押的邊緣設(shè)備可信參與,是經(jīng)濟安全與隱私保障之間的工程型折中方案。二、工具與場景應用EXOGym:可在單臺設(shè)備模擬多節(jié)點訓練環(huán)境,支持NanoGPT、CNN、Diffusion等模型的通信策略實驗;EXODesktopApp:面向個人用戶的桌面AI工具,支持本地大模型運行、iPhone鏡像控制、私人上下文集成(如短信、日歷、視頻記錄)等隱私友好型個性化功能。EXOGym更像是一個以探索導向的去中心化訓練實驗項目,主要通過整合現(xiàn)有的通信壓縮技術(shù)(如DiLoCo與SPARTA)來實現(xiàn)訓練路徑的輕量化。相較于Gensyn、Nous、Pluralis等項目,EXO尚未邁入鏈上協(xié)作、可驗證激勵機制或真實分布式網(wǎng)絡部署等核心階段。去中心化訓練的前鏈條引擎:模型預訓練全景研究

面對去中心化訓練中普遍存在的設(shè)備異構(gòu)、通信瓶頸、協(xié)調(diào)困難與缺乏可信執(zhí)行等核心挑戰(zhàn),Gensyn、PrimeIntellect、Pluralis與NousResearch分別提出了具有差異化的系統(tǒng)架構(gòu)路徑。從訓練方法和通信機制兩個層面來看,這四個項目展現(xiàn)了各自獨特的技術(shù)焦點與工程實現(xiàn)邏輯。

在訓練方法優(yōu)化方面,四者分別從協(xié)同策略、更新機制和異步控制等關(guān)鍵維度展開探索,覆蓋了從預訓練到后訓練的不同階段。

PrimeIntellect的PRIME-RL 屬于面向預訓練階段的異步調(diào)度結(jié)構(gòu),通過“本地訓練+周期性同步”的策略,在異構(gòu)環(huán)境下實現(xiàn)高效而可驗證的訓練調(diào)度機制。該方法強具有較強的通用性與靈活性。理論創(chuàng)新度較高,在訓練控制結(jié)構(gòu)上提出明確范式;工程實現(xiàn)難度中高,對底層通信與控制模塊有較高要求。

NousResearch推出的DeMo優(yōu)化器,則聚焦于異步低帶寬環(huán)境下的訓練穩(wěn)定性問題,實現(xiàn)了異構(gòu)GPU條件下的高容錯梯度更新流程,是當前少數(shù)在“異步通信壓縮閉環(huán)”上完成理論與工程統(tǒng)一的方案。理論創(chuàng)新度很高,特別是在壓縮與調(diào)度協(xié)同路徑上具有代表性;工程實現(xiàn)難度也很高,尤其依賴異步并行的協(xié)調(diào)精度。

Pluralis的SWARM+NAG則是目前異步訓練路徑中最具系統(tǒng)性與突破性的設(shè)計之一。它基于異步模型并行框架,引入Column-space稀疏通信與NAG動量修正,構(gòu)建出一種可在低帶寬條件下穩(wěn)定收斂的大模型訓練方案。理論創(chuàng)新度極高,是異步協(xié)同訓練的結(jié)構(gòu)性開創(chuàng)者;工程難度同樣極高,需要多級同步與模型切分的深度集成。

Gensyn的RLSwarm 主要服務于后訓練階段,聚焦于策略微調(diào)與智能體協(xié)同學習。其訓練過程遵循“生成-評估-投票”的三步流程,特別適合多代理系統(tǒng)中復雜行為的動態(tài)調(diào)整。理論創(chuàng)新度中高,主要體現(xiàn)在智能體協(xié)同邏輯上;工程實現(xiàn)難度適中,主要挑戰(zhàn)在于系統(tǒng)調(diào)度與行為收斂控制。

在通信機制優(yōu)化層面,這四個項目亦各有針對性布局,普遍關(guān)注帶寬瓶頸、節(jié)點異構(gòu)與調(diào)度穩(wěn)定性問題的系統(tǒng)解法。

PrimeIntellect的PCCL 是一個用于替代傳統(tǒng)NCCL的底層通信庫,旨在為上層訓練協(xié)議提供更穩(wěn)健的集體通信基礎(chǔ)。理論創(chuàng)新度中高,在容錯通信算法上有一定突破;工程難度中等,具備較強的模塊適配性。

NousResearch的DisTrO 是DeMo的通信核心模塊,強調(diào)在低帶寬下實現(xiàn)最小通信開銷的同時保障訓練閉環(huán)的連貫性。理論創(chuàng)新度高,在調(diào)度協(xié)同結(jié)構(gòu)上具備通用性設(shè)計價值;工程難度高,對壓縮精度與訓練同步要求高。

Pluralis的通信機制深度嵌入SWARM架構(gòu)中,顯著降低了大模型異步訓練中的通信負載,在保障收斂性的同時保持高效吞吐。理論創(chuàng)新度高,為異步模型通信設(shè)計樹立了范式;工程難度極高,依賴分布式模型編排與結(jié)構(gòu)稀疏性控制。

Gensyn的SkipPipe 是配套RLSwarm的容錯調(diào)度組件。該方案部署成本低,主要用于工程落地層的訓練穩(wěn)定性增強。理論創(chuàng)新度一般,更多是已知機制的工程化實現(xiàn);工程難度較低,但在實際部署中實用性強。

此外,我們可以從Blockchain協(xié)作層與AI訓練層更為宏觀的兩大類衡量去中心化訓練項目的價值:

Blockchain協(xié)作層面:強調(diào)協(xié)議可信性與激勵協(xié)作邏輯

可驗證性:對訓練過程是否可驗證、是否引入博弈或加密機制建立信任;

激勵機制 :是否設(shè)計了任務驅(qū)動的Token獎勵/角色機制;

開放性與準入門檻 :節(jié)點是否易于接入,是否中心化或許可控制。

AI訓練系統(tǒng)層面:突出工程能力與性能可達性

調(diào)度與容錯機制 :是否容錯、異步、動態(tài)、分布式調(diào)度;

訓練方法優(yōu)化 :是否對模型訓練算法或結(jié)構(gòu)有優(yōu)化;

通信路徑優(yōu)化:是否壓縮梯度/稀疏通信,適應低帶寬。

以下表格基于上述指標體系,對Gensyn、PrimeIntellect、Pluralis和NousResearch在去中心化訓練路徑上的技術(shù)深度、工程成熟度與理論創(chuàng)新進行了系統(tǒng)性評估。

去中心化訓練的后鏈條生態(tài):基于LoRA的模型微調(diào)

在去中心化訓練的完整價值鏈中,PrimeIntellect、Pluralis.ai、Gensyn和NousResearch等項目主要聚焦于模型預訓練、通信機制與協(xié)同優(yōu)化等前端基礎(chǔ)設(shè)施建設(shè)。然而,另有一類項目則專注于訓練后階段的模型適配與推理部署(post-trainingfine-tuning&inferencedelivery),不直接參與預訓練、參數(shù)同步或通信優(yōu)化等系統(tǒng)性訓練流程。代表性項目包括Bagel、Pond和RPSLabs,他們均以LoRA微調(diào)方法為核心,構(gòu)成去中心化訓練生態(tài)圖譜中關(guān)鍵的“后鏈條”一環(huán)。LoRA+DPO:Web3微調(diào)部署的現(xiàn)實路徑

LoRA(Low-RankAdaptation)是一種高效的參數(shù)微調(diào)方法,其核心思路是在預訓練大模型中插入低秩矩陣來學習新任務,同時凍結(jié)原始模型參數(shù)。這一策略顯著降低了訓練成本與資源消耗,提升了微調(diào)速度與部署靈活性,尤其適用于以模塊化、組合調(diào)用為特征的Web3場景。

傳統(tǒng)的大語言模型如LLaMA、GPT-3等往往擁有數(shù)十億甚至千億級參數(shù),直接微調(diào)成本高昂。而LoRA通過僅訓練插入的少量參數(shù)矩陣,實現(xiàn)對大模型的高效適配,成為當前最具實用性的主流方法之一。

**DirectPreferenceOptimization(DPO)**作為近年來興起的語言模型后訓練方法,常與LoRA微調(diào)機制協(xié)同使用,用于模型行為對齊階段。相比傳統(tǒng)的RLHF(ReinforcementLearningfromHumanFeedback)方法,DPO通過對成對樣本的直接優(yōu)化實現(xiàn)偏好學習,省去了復雜的獎勵建模與強化學習過程,結(jié)構(gòu)更為簡潔,收斂更加穩(wěn)定,尤其適合輕量化與資源受限環(huán)境下的微調(diào)任務。由于其高效與易用性,DPO正逐漸成為眾多去中心化AI項目在模型對齊階段的優(yōu)選方案。

強化學習(ReinforcementLearning,RL):后訓練微調(diào)的未來演進方向

從長期視角來看,越來越多的項目將強化學習(ReinforcementLearning,RL)視為去中心化訓練中更具適應性與演化潛力的核心路徑。相較于依賴靜態(tài)數(shù)據(jù)的監(jiān)督學習或參數(shù)微調(diào)機制,RL強調(diào)在動態(tài)環(huán)境中持續(xù)優(yōu)化策略,天然契合Web3網(wǎng)絡中異步、異構(gòu)與激勵驅(qū)動的協(xié)作格局。通過與環(huán)境持續(xù)交互,RL能夠?qū)崿F(xiàn)高度個性化、持續(xù)增量式的學習過程,為Agent網(wǎng)絡、鏈上任務市場及智能經(jīng)濟體構(gòu)建提供可演化的“行為智能”基礎(chǔ)設(shè)施。

這一范式不僅在理念上高度契合去中心化精神,也具備顯著的系統(tǒng)優(yōu)勢。然而,受限于較高的工程門檻和復雜的調(diào)度機制,RL在當前階段的落地仍面臨較大挑戰(zhàn),短期內(nèi)尚難廣泛推廣。

值得注意的是,PrimeIntellect的PRIME-RL以及Gensyn的RLSwarm 正在推動RL從后訓練微調(diào)機制向預訓練主結(jié)構(gòu)演進,試圖構(gòu)建一個以RL為中心、無需信任協(xié)調(diào)的協(xié)同訓練體系。Bagel(zkLoRA):LoRA微調(diào)的可信驗證層

Bagel基于LoRA微調(diào)機制,引入零知識證明(ZK)技術(shù),致力于解決“鏈上模型微調(diào)”過程中的可信性與隱私保護難題。zkLoRA并不參與實際的訓練計算,而是提供一種輕量、可驗證的機制,使外部用戶無需訪問原始數(shù)據(jù)或權(quán)重,即可確認某個微調(diào)模型確實源自指定的基礎(chǔ)模型和LoRA參數(shù)。

與Gensyn的Verde或PrimeIntellect的TOPLOC所關(guān)注的訓練過程“行為是否真實發(fā)生”的動態(tài)驗證不同,Bagel更專注于“微調(diào)結(jié)果是否可信”的靜態(tài)驗證。zkLoRA的最大優(yōu)勢在于驗證資源消耗低、保護隱私強,但其應用范圍通常局限于參數(shù)變動較小的微調(diào)任務。Pond:GNN場景下的微調(diào)與智能體演化平臺

Pond是當前業(yè)內(nèi)唯一專注于圖神經(jīng)網(wǎng)絡(GNN)微調(diào)的去中心化訓練項目,服務于結(jié)構(gòu)化數(shù)據(jù)應用,如知識圖譜、社交網(wǎng)絡與交易圖等。其通過支持用戶上傳圖結(jié)構(gòu)數(shù)據(jù)并參與模型訓練反饋,為個性化任務提供了一個輕量、可控的訓練與推理平臺。

Pond同樣采用LoRA等高效微調(diào)機制,其核心目標是在GNN架構(gòu)上實現(xiàn)模塊化、可部署的智能體系統(tǒng),開辟了“小模型微調(diào)+多智能體協(xié)作”在去中心化語境下的新探索路徑。RPSLabs:面向DeFi的AI驅(qū)動流動性引擎

RPSLabs是一個基于Transformer架構(gòu)的去中心化訓練項目,致力于將微調(diào)后的AI模型用于DeFi流動性管理,主要部署在Solana生態(tài)中。其旗艦產(chǎn)品UltraLiquid是一套主動式做市引擎,利用微調(diào)后的模型動態(tài)調(diào)節(jié)流動性參數(shù),降低滑點、提升深度,并優(yōu)化Tokens發(fā)行與交易體驗。

此外,RPS還推出UltraLP工具,支持流動性提供者實時優(yōu)化其在DEX上的資金分配策略,從而提升資本效率、降低無常損失風險,體現(xiàn)了AI微調(diào)在金融場景中的實用價值。從前鏈條引擎到后鏈條生態(tài):去中心化訓練的前路

在去中心化訓練的完整生態(tài)圖譜中,整體可劃分為兩大類:前鏈條引擎對應模型預訓練階段、后鏈條生態(tài)對應模型微調(diào)部署階段,構(gòu)成了從基礎(chǔ)設(shè)施到應用落地的完整閉環(huán)。

前鏈條引擎聚焦于模型預訓練的底層協(xié)議構(gòu)建,由 PrimeIntellect、NousResearch、Pluralis.ai、Gensyn 等項目代表。它們致力于打造具備異步更新、稀疏通信與訓練可驗證性的系統(tǒng)架構(gòu),在去信任網(wǎng)絡環(huán)境中實現(xiàn)高效、可靠的分布式訓練能力,構(gòu)成了去中心化訓練的技術(shù)根基。

與此同時,F(xiàn)lock 作為中間層代表,通過聯(lián)邦學習路徑,融合模型聚合、鏈上驗證與多方激勵等機制,在訓練與部署之間建立起可落地、可協(xié)作的橋梁,為多節(jié)點協(xié)同學習提供實踐范式。

后鏈條生態(tài)則聚焦于模型的微調(diào)與應用層部署。項目如 Pond、Bagel與RPSLabs,圍繞LoRA微調(diào)方法展開:Bagel提供鏈上可信驗證機制,Pond專注于圖神經(jīng)網(wǎng)絡的小模型演化,RPS則將微調(diào)模型應用于DeFi場景的智能做市。它們通過推理API與AgentSDK等組件,為開發(fā)者和終端用戶提供低門檻、可組合的模型調(diào)用與個性化定制方案,是去中心化AI落地的重要入口。

我們相信,去中心化訓練不僅是Blockchain精神在AI時代的自然延伸,更是全球協(xié)作式智能生產(chǎn)力體系的基礎(chǔ)設(shè)施雛形。未來,當我們回望這條充滿挑戰(zhàn)的前路征途,仍將以那句初心共勉:去中心化不只是手段,它本身就是價值。

Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM

主站蜘蛛池模板: 亚洲国产欧美一区二区好看电影| 欧美日韩一区二区免费视频| 又大又硬又黄又刺激的免费视频| 国内精品久久久久影院薰衣草| 无码中文av有码中文av| 成熟女人牲交片免费观看视频| 亚洲在av极品无码天堂手机版| 国产无遮挡又爽又黄大胸免费| 久久99精品久久水蜜桃| 一区二区三区精品视频免费播放| 欧洲国产精品无码专区影院| av在线网站无码不卡的| 亚洲色大成网站www永久男同| 国产麻豆精品精东影业av网站 | 日本又黄又爽又无遮挡的视频| 欧美亚洲国产片在线播放| 亚洲成av人片在线观l看福利1| 熟女少妇色综合图区| 国产精品美女久久久久久久久| 久久人人爽人人人人爽av| 巨胸爆乳美女露双奶头挤奶| 国产农村乱子伦精品视频| 狂野欧美性猛xxxx乱大交 | 99久久亚洲综合精品成人网| 亚洲中国久久精品无码| 国产欧美成人xxx视频| 国产成人精品a∨一区二区| 风韵犹存丰满大屁股熟妇视频| 久久国产精品国产四虎90后| 18禁美女裸体无遮挡网站| 上司人妻互换hd无码| 国产麻豆md传媒视频| 色偷偷av老熟女| 亚洲国产精品毛片av不卡在线| 久久久久久a亚洲欧洲av| 蜜桃无码av一区二区| 久久久久亚洲国产av麻豆| 51久久成人国产精品麻豆| 成人网站www污污污网站| 亚洲日本精品国产第一区二区| 久久一日本综合色鬼综合色|