作者：0xJeff, 加密 KOL；编译：Felix, PANews
当今人人都在兜售东西，无论是食物、住所、百科全书、电子产品、应用程序，还是最近的 AI。
过去兜售的是满足马斯洛需求层次中较低层级的实用物品，如今兜售的是梦想和希望，并将其包装在光鲜亮丽的外衣里，尤其是在加密 AI 领域。
加密 AI 产品和基础设施往往难以理解，导致团队在沟通中使用过多专业术语，无法吸引用户。
此外，启动一个真正的 AI 实验室（非简单的封装）需要大量资金来资助人才、贡献者、计算资源和其他必要资源。
先进的企业级 AI 实验室每年的成本高达数百万美元。如果正在研究、训练和优化前沿 AI 模型，成本可能高达数亿美元。H100 型号的 GPU 价格在 2.5 万至 4 万美元之间，而较新的 Blackwell B200 和 GB200 型号的 GPU 价格在 3 万至 7 万美元之间。训练一个前沿模型可能需要数千个这样的 GPU。
去中心化 AI（DeAI）的优势：小型模型 + 强化学习
选择去中心化的系统，即在全球范围内协调计算资源来训练单个模型，理论上能大幅降低 GPU 的成本（节省 30% 至 90%），因为你可以利用全球闲置的 GPU 网络。但实际上，协调这些 GPU 并确保它们都能高质量地工作非常困难。因此，目前没有去中心化 AI 实验室能够攻克去中心化训练的难题。
不过未来还是有希望的，因为有少数实验室在去中心化的强化学习方面取得了令人鼓舞的成果。正是这种自我博弈、自我学习的过程，能让一个小型模型变得极其智能。
并非所有情况都需要大型语言模型（LLM）。训练特定领域的模型，并使用强化学习（RL）来完善和提升它们的技能，是提供企业级 AI 解决方案最经济有效的方式，因为归根结底，客户想要的是结果（合规、安全、成本效益高且能提高生产力）。
早在 2019 年，OpenAI Five 就在《Dota 2》中击败了当时的世界冠军 OG 战队。这并非侥幸，而是彻底的碾压，连续两场击败了 OG 战队。
你可能会好奇它是如何做到的？
《Dota 2》是一款极其复杂的多人在线战斗竞技场游戏，5 名玩家相互对抗，完成各种目标并摧毁对方基地。
为了让 AI 能与顶级选手对抗，它遵循了以下步骤：
从零开始自我对战：学习基础知识，进行数百万次的自我对战。如果获胜，就说明操作的是利好的；如果失败，就说明操作的不好（即大规模的试错）。
设置奖励系统（积分），激励那些可能带来胜利的期望值（EV）为正的行为（如摧毁防御塔、击杀英雄），而对期望值为负的行为扣分。
训练方法采用名为“PPO”的强化学习算法，AI 在比赛中尝试某些操作，PPO 将结果视为反馈。如果结果好，就多做；如果结果差，就少做。这种方式逐渐将 AI 引向正确的方向。
数百个 GPU 运行近一年来训练 AI，AI 不断学习并适应游戏版本更新和变动。
一段时间后，它开始自行探索复杂的策略（牺牲一条兵线、在恰当的时机采取保守或激进的打法、把握大规模进攻的时机等），并且开始与人类玩家对抗并获胜。
尽管 OpenAI Five 已经退役，但它启示了小型模型在特定领域任务中也能极其有效（OpenAI Five 的参数量仅为 58MB）。
像 OpenAI 这样的大型 AI 实验室之所以能够做到这一点，是因为拥有资金和资源来训练强化学习模型。如果一家企业想要拥有自己的 OpenAI Five，用于欺诈检测、工厂机器人、自动驾驶汽车或金融市场交易，需要大量资金才能做到。
去中心化的强化学习解决了这个问题，这就是为什么像 Nous Research、Pluralis、gensyn、Prime Intellect 和 Gradient 这样的去中心化 AI 实验室正在构建全球 GPU 网络，共同训练强化学习模型，为企业级特定领域 AI 提供基础设施。
一些实验室正在研究进一步降低成本的方法，例如使用 RTX 5090/4090 而不是 H100 来训练强化学习模型。还有一些专注于使用强化学习来提升大型基础模型的智能水平。
无论研究重点在哪，都将成为去中心化 AI 最有前景的发展方向之一。如果去中心化的强化学习解决方案能在商业上大规模应用，企业客户将会向 AI 投入大量资金，也将看到更多去中心化 AI 团队实现 8 到 9 位数的年收入。
通过协调层为 DeAI 提供资金并实现规模扩展
但是，在达到每年 8 至 9 位数的收入之前，他们需要持续研究、实施并过渡到具有商业可行性的强化学习解决方案，这需要大量资金。
通过像 Bittensor 这样的协调层来筹集资金是最佳途径之一。每天都有数百万美元的 TAO 激励金发放给子网（初创企业和 AI 实验室），同时贡献者（ AI 人才）为他们感兴趣的子网贡献，以获取部分激励金。
Bittensor 使贡献者能够参与 AI 的开发，也让投资者能够投资于为 DeAI 技术做出贡献的 AI 实验室。
目前在 Bittensor 生态系统中，有几个关键的 DeAI 细分领域脱颖而出，包括量子计算、去中心化训练、AI 代理和预测系统（强化学习目前还不是其中之一，但有 3 个以上的子网正在积极关注去中心化强化学习）。
目前去中心化强化学习进展如何？
强化学习已被证明可以大规模应用，但尚未实现工业化。好消息是，企业对能够从真实反馈中学习的 AI 代理的需求正在迅速增长。比如能够从现实环境、销售和客户服务电话中学习的代理，能够适应市场变化的交易模型等。这些自我学习系统能够为企业创造或节省数百万美元。
隐私技术也在兴起。可信执行环境（TEE）、TEE 内的加密嵌入以及差分隐私等技术在反馈循环中的应用有助于加密和保护私人信息，使医疗保健、金融、法律等敏感行业在拥有强大的特定领域自我学习 AI 代理的同时保持合规。
接下来会怎样？
强化学习是继续让 AI 更加智能的不二之选。强化学习将 AI 从生成系统转变为积极主动、智能的 AI 代理。
隐私与强化学习相结合将推动企业真正采用，为客户提供合规的解决方案。
强化学习使“代理经济”成为可能，代理购买计算资源、相互协商、提供服务。
由于成本效益，去中心化强化学习将成为扩展强化学习训练的默认方式。
联邦式强化学习（Federated RL）将会出现，使多方能够在不共享本地敏感数据的情况下协同学习，将隐私保护与自我学习相结合，极大地提升智能水平，同时符合合规要求。
