当前位置:主页 > 区块链 > 资讯 > 为什么Crypto可以解决开源AI的资源问题

Variant:为什么更好的AI需要Crypto

2025-01-17 23:31:54 | 来源:本站整理 | 作者:佚名
Crypto 的突破在于利用所有权使资源成本较高的开源软件项目成为可能,Crypto 通过激励具有网络潜在上升空间的投机资源提供者,而不是要求开源贡献者预先支付成本来提供这些资源,从而解决了开源 AI 固有的资源问题,更多详细资讯请看下面正文
  • 目前,基础AI开发由少数科技公司主导,处于封闭和反竞争的状态。

  • 开源软件开发是另一种选择,但基础AI无法作为传统的开源软件项目(例如 Linux)进行开发,因为它存在“资源问题”,开源贡献者还被要求捐献超出个人能力范围的计算和数据成本。

  • 加密通过所有权激励资源提供者为基础开源 AI 项目做出贡献,从而解决资源问题。

  • 开源AI与加密相结合,可以支持更大的模型并推动更多创新,从而带来更好的AI。 

引言

皮尤研究中心2024 年的一项民 意调查显示,64% 的美国人认为社交媒体对美国产生了负面而非正面的影响,78% 的人表示社交媒体公司在当今政治中拥有过大的权力和影响力,83% 的人表示这些平台很可能或很有可能故意审查他们不同意的政治观点。对社交媒体平台的厌恶是少数几个能团结美国人的问题之一。

回顾过去 20 年社交媒体实验的进展,我们似乎不可避免地会落得如此境地。你们都知道这个故事。少数几家大型科技公司最初吸引了人们的注意,最重要的是,他们获得了用户数据。虽然最初人们希望这些数据能够公开,但这些公司在利用这些数据建立牢不可破的网络效应后,很快就改变了方向,关闭了访问权限。这基本上导致了目前的状况,不到十家大型科技社交媒体公司在寡头垄断下像小封建领地一样存在,没有动力去改变,因为现状利润极高。它是封闭的,反竞争的。

看看AI实验目前的进展,我感觉自己就像在重复看同一部电影,但这一次涉及的更多。少数几家大型科技公司已经积累了 GPU 和数据来构建基础AI模型,并封锁了对这些模型的访问。对于新进入者(没有筹集数十亿美元)来说,已经不可能构建出竞争版本,因为进入门槛太高了——仅预训练一个基础模型的计算资本支出就高达数十亿美元,而从上一次技术繁荣中获益的社交媒体公司正在利用他们对专有用户数据的控制来构建竞争对手无法做到的模型。我们正全力以赴地在AI领域重现我们在社交媒体上所做的事情:封闭和反竞争。如果我们继续沿着这条封闭AI的道路前进,少数科技公司将对信息和机会的访问拥有不受限制的控制。 

开源AI与“资源问题”

如果我们不想要一个封闭的AI世界,我们的替代方案是什么?答案显而易见,那就是将基础模型构建为开源软件项目。我们有无数开源项目的例子,它们构建了我们每天依赖的基础软件。如果 Linux 表明像操作系统这样基本的东西也可以开源构建,那么 LLM 又有什么不同呢?

不幸的是,基础AI模型存在一些限制,使它们不同于传统软件,这严重阻碍了它们作为传统开源软件项目的可行性。具体来说,基础AI模型本身就需要超出任何个人能力的计算和数据资源。结果是,与依赖人们捐献时间的传统开源软件项目(这已经是一个具有挑战性的问题)不同,开源AI还需要人们以计算和数据的形式捐献资源。这就是开源AI的“资源问题” 。

为了更好地理解资源问题,让我们来看看 Meta 的 LLaMa 模型。Meta 与其竞争对手(OpenAI、Google 等)的不同之处在于,它不会将模型隐藏在付费 API 后面,而是公开提供 LLaMa 的权重供任何人免费使用(有一些限制)。这些权重代表了模型从 Meta 的训练过程中学到的东西,是运行模型所必需的。有了权重,任何人都可以对模型进行微调,或者将模型的输出用作新模型的输入。

虽然 Meta 公布了 LLaMa 的权重值得称赞,但它并不是一个真正的开源软件项目。Meta 在私下使用自己的计算、数据和决策来训练模型,并单方面决定何时向全世界开放该模型。Meta 不邀请独立研究人员 / 开发人员参与社区,因为单个社区成员无法负担训练或重新训练模型所需的计算或数据资源——数以万计的高内存 GPU、容纳它们的数据中心、大量冷却基础设施,以及数万亿的训练数据代币。正如斯坦福大学 2024 年AI指数报告所述,“培训费用的不断上涨实际上已经将大学(传统上是AI研究中心)排除在开发自己的前沿基础模型之外。”为了了解成本,Sam Altman 提到 GPT-4 的培训成本为 1 亿美元,而且可能还不包括资本支出;Meta的资本支出同比增长 21 亿美元(2024 年第二季度 vs. 2023 年第二季度),主要来自对与训练 AI 模型相关的服务器、数据中心和网络基础设施的投资。因此,虽然 LLaMa 的社区贡献者可能具有在基本模型架构上做出贡献和迭代的技术能力,但他们仍然缺乏这样做的手段。

总而言之,与传统的开源软件项目不同,开源软件项目仅要求贡献者贡献时间,而开源 AI 项目的贡献者则被要求以计算和数据的形式贡献时间和大量成本。依靠善意和志愿服务来激励足够多的各方提供这些资源是不现实的。他们需要进一步的激励。176B 参数开源 LLM BLOOM的成功可能是善意和志愿服务对开发开源 AI 的优点的最佳反例,它涉及来自 70 多个国家和 250 多个机构的 1000 名志愿研究人员。虽然这无疑是一项令人印象深刻的成就(我完全支持),但协调一次训练运行花了一年时间,并从法国研究机构获得了 300 万欧元的资助(而且这笔费用不包括用于训练模型的超级计算机的资本支出,其中一个法国机构已经可以使用它)。协调和依靠新拨款来迭代 BLOOM 的过程过于繁琐和官僚主义,无法与大型科技实验室的步伐相媲美。虽然 BLOOM 发布已有两年多时间,但我不知道这个集体是否制作了任何后续模型。 

为了使开源AI成为可能,我们需要激励资源提供者贡献他们的计算和数据,而无需开源贡献者承担费用。

为什么Crypto可以解决开源AI的资源问题

要证明这一点,只需看看最初的加密项目比特币。比特币是一个开源软件项目;运行它的代码是完全开放的,从项目开始的那一天起就一直如此。但代码本身并不是秘密武器;下载并运行比特币节点软件来创建仅存在于本地计算机上的区块链并没有多大用处。只有当计算挖掘区块的数量足够超过任何单个贡献者的计算能力时,该软件才有用。只有这样,软件的增值才能实现:维护一个无人控制的账本。与基金会开源 AI 一样,比特币也代表了一个开源软件项目,它需要超出任何单个贡献者能力的资源。他们可能出于不同的原因需要这种计算——比特币是为了使网络防篡改,而基金会 AI 是为了迭代模型——但更广泛的一点是,它们都需要超出任何单个贡献者需求的资源才能作为可行的开源软件项目发挥作用。

比特币,或者说任何加密网络,用来激励参与者为开源软件项目提供资源的魔术技巧是以代币形式提供网络所有权。正如 Jesse早在 2020 年为 Variant 撰写的创始论文中所写的那样,所有权激励资源提供者为项目贡献资源,以换取网络的潜在上行空间。这类似于如何利用汗水股权来启动一家刚刚起步的公司——通过主要通过对企业的所有权来支付早期员工(例如创始人)的工资,初创公司可以通过获得原本无法负担的劳动力来克服启动问题。加密将汗水股权的概念扩展到资源提供者,而不仅仅是那些奉献时间的人。因此,Variant 专注于投资利用所有权建立网络效应的项目,例如 Uniswap、Morpho 和 World。

如果我们想让开源 AI 成为可能,那么通过crypto实现所有权就是解决其面临的资源问题的办法。研究人员可以自由地将他们的模型设计想法贡献给开源项目,因为实现他们的想法所需的资源将由计算和数据提供商提供,以换取他们对项目的所有权,而不是要求这些研究人员支付高昂的前期成本。所有权在开源 AI 中可以采取多种不同的形式,但我最兴奋的是模型本身的所有权,就像Pluralis提出的方法一样。

Pluralis 将这种方法称为协议模型,其中计算提供商可以贡献计算资源来训练特定的开源模型,并获得该模型未来推理收入的所有权。由于所有权属于特定模型,并且所有权的价值基于推理收入,因此计算提供商有动力选择最佳模型,而不是欺骗训练(因为提供无用的训练会降低未来推理收入的预期价值)。那么问题就变成了:如果需要将权重发送给计算提供商进行训练,如何在 Pluralis 上强制执行所有权?答案是模型并行性用于在工作者之间分配模型分片,从而允许利用神经网络的一个关键属性:可以为训练更大的模型做出贡献,同时只能看到总权重的一小部分,从而确保完整的权重集仍然不可提取。而且由于在 Pluralis 上训练了许多不同的模型,训练者将拥有许多不同的权重集,这使得重新创建模型变得极其困难。这是协议模型的核心概念:它们是可训练的,可以使用,但无法从协议中提取(不使用比从头训练模型所需的更多的计算能力)。这解决了开源AI批评者经常提出的一个担忧,即封闭的AI竞争对手将占用开放项目的劳动成果。 

为什么Crypto+开源=更好的AI

我在这篇文章的开头描述了大科技公司控制的问题,以从规范的角度说明为什么封闭式AI是坏的。但在一个我们的在线体验带有宿命论色彩的世界里,我担心这对大多数读者来说可能毫无意义。所以最后我想给出两个理由,即由加密支持的开源AI实际上将带来更好的人工智能。

首先,Crypto和开源 AI 的结合将使我们能够达到下一层基础模型,因为它将比封闭式 AI 协调更多的资源。我们目前的研究表明,以计算和数据形式存在的更多资源意味着更好的模型,这就是基础模型通常会变得越来越大的原因。比特币向我们展示了开源软件加上加密在计算能力方面所释放的东西。它是世界上最大、最强大的计算网络,比大型科技公司的云大几个数量级。加密将孤立的竞争变成了合作竞争。资源提供者被激励贡献他们的资源来解决集体问题,而不是囤积他们的资源来单独(和冗余地)解决该问题。使用加密的开源 AI 将能够利用世界集体计算和数据来构建远远超出封闭式 AI 可能的模型大小。像Hyperbolic这样的公司已经展示了利用集体计算资源的力量,任何人都可以以更低的价格在他们的开放市场上出租 GPU。

其次,将Crypto和开源 AI 结合起来将推动更多创新。这是因为,如果我们能够克服资源问题,我们就可以回归机器学习研究的高度迭代和创新的开源性质。在最近推出基础 LLM 之前,机器学习研究人员几十年来一直公开发布他们的模型和复制模型的蓝图。这些模型通常使用更有限的开放数据集,并且具有可管理的计算要求,这意味着任何人都可以对它们进行迭代。正是通过这种迭代,我们在序列建模方面取得了进展,例如 RNN、LSTM 和注意力机制,这使得当前基础 LLM 所依赖的“Transformer”模型架构成为可能。但随着 GPT-3 的推出(它逆转了 GPT-2 开源的趋势)和 ChatGPT 的巨大成功,这一切都发生了变化。这是因为 OpenAI 证明,如果你在海量模型上投入足够的计算和数据,你就可以构建似乎能理解人类语言的 LLM。这造成了资源问题,导致学术界无法负担高昂的价格,并导致大型科技公司实验室基本停止公开发布其模型架构以保持竞争优势。目前主要依赖个别实验室的状态将限制我们突破最先进技术界限的能力。通过加密技术实现的开源 AI 将意味着研究人员将再次能够在尖端模型上继续这一迭代过程,以发现“下一个transformer”。

以上就是Variant:为什么更好的AI需要Crypto的详细内容,更多关于为什么Crypto可以解决开源AI的资源问题的资料请关注脚本之家其它相关文章!

免责声明:本文只为提供市场讯息,所有内容及观点仅供参考,不构成投资建议,不代表本站观点和立场。投资者应自行决策与交易,对投资者交易形成的直接或间接损失,作者及本站将不承担任何责任。!
Tag:Crypto  

你可能感兴趣的文章

更多

热门币种

  • 币种
    最新价格
    24H涨跌幅
  • bitcoin BTC 比特币

    BTC

    比特币

    $ 75736.44¥ 516673.99
    +1.31%
  • ethereum ETH 以太坊

    ETH

    以太坊

    $ 2357.64¥ 16083.82
    +0.72%
  • tether USDT 泰达币

    USDT

    泰达币

    $ 1.0002¥ 6.8233
    +0.02%
  • ripple XRP 瑞波币

    XRP

    瑞波币

    $ 1.4471¥ 9.8721
    +2.14%
  • binance-coin BNB 币安币

    BNB

    币安币

    $ 633.14¥ 4319.28
    +1.94%
  • usdc USDC USD Coin

    USDC

    USD Coin

    $ 0.9996¥ 6.8192
    -0.01%
  • solana SOL Solana

    SOL

    Solana

    $ 88.1312¥ 601.23
    +3.27%
  • tron TRX 波场

    TRX

    波场

    $ 0.324¥ 2.2103
    -0.92%
  • dogecoin DOGE 狗狗币

    DOGE

    狗狗币

    $ 0.099079¥ 0.6759
    +2.24%
  • hyperliquid HYPE Hyperliquid

    HYPE

    Hyperliquid

    $ 43.6331¥ 297.66
    -2.78%

币圈快讯

  • JamesWynn平仓BTC和SOL空单获利6400美元随后小额开多BTC和ETH

    2026-06-07 14:20
    据Lookonchain监测,JamesWynn从做空转为做多。其平掉了BTC和SOL的空头头寸,获利6400美元,然后以最大杠杆开多6.05BTC(37.3万美元)和5.3ETH(8500美元)。
  • ZEC突破400美元

    2026-06-07 13:59
    行情显示,ZEC突破400美元,现报405.93美元,24小时涨幅9.65%,行情波动较大,请做好风险控制。
  • AI等机器网络请求量首超人类

    2026-06-07 13:46
    6月7日,全球最大的互联网托管服务商之一——云网络安全服务公司发布的最新数据显示,在其托管网站收到的网络访问请求中,约57.4%来自人工智能和自动化程序,42.6%来自人类用户。该公司称,这是互联网历史上来自人类的网络访问请求数量首次被机器超越。(央视新闻)
  • 下周宏观展望:美国CPI携手两大央行决议SpaceXIPO重磅来袭

    2026-06-07 13:42
    6月7日,在6月5日大超预期的非农数据公布后,市场对美联储年内加息的预期大幅升温,现货黄金连续第四周收跌,德商银行将黄金目标价下调至4800美元/盎司。美元指数大幅上涨至稍高于100关口。非美货币普遍相对美元维持窄幅波动,日元承压,美元兑日元多次触及160附近,市场再度关注日本当局是否出手干预。下周三和下周四将分别公布的6月消费者物价指数(CPI)和生产者物价指数(PPI)报告备受市场关注。预测显示美国名义和核心CPI同比增速将进一步加速,预计分别达到4.2%(创下2023年6月以来的最高水平)和3%,这一结果恐将在全球金融市场引发猛烈冲击。同时,SpaceX即将于6月12日以股票代码“SPCX”登陆纳斯达克。公司发行价定为每股135美元,计划募资750亿美元,SpaceX本次IPO获约1500亿美元投资者认购资金,认购额度达募资计划的两倍,创下全球IPO纪录。下周重要宏观事件与数据一览如下:周一:美国5月纽约联储1年通胀预期、美国至5月23日当周ADP就业人数周度变动。周二:美国4月批发销售月率、美国至6月5日当周API原油库存、中国5月CPI年率。周三:美国5月未季调CPI、美国5月季调后核心CPI月率、加拿大至6月10日央行利率决定、美国至6月5日当周EIA原油库存、库欣原油库存、美国至6月5日当周EIA战略石油储备。周四:欧元区至6月11日欧洲央行存款机制利率率、主要再融资利率、美国至6月6日当周初请失业金人数、美国5月PPI、美国至6月5日当周EIA天然气库存。周五:SpaceXIPO、美国6月一年期通胀率预期初值、美国6月密歇根大学消费者信心指数初值。
  • PiggyBank:LAB代币基差交易失误代币遭市场操纵USDC金库已回撤15%

    2026-06-07 13:35
    收益协议PiggyBank发布公告声明,承认上个月进行的LAB代币基差交易出现严重失误。PiggyBank披露,团队此前以约10万美元(占组合约2%)通过OTC渠道低价买入锁仓LAB代币,并同步做空永续合约进行对冲。然而,在持有期间LAB遭遇严重市场操纵,流动性枯竭且资金费率深度负值,导致对冲成本过高。团队最终选择平掉空头仓位以限制下行风险。按当前价格计算,锁定的LAB头寸总价值为135万美元。然而,由于该仓位流动性不足,PiggyBank将在8月14日首次解锁前将其从净值计算中排除。尽管情况仍在变化,仍有可能带来可观收益,但这却是让用户管理流动性的“最公平、最透明”的方式。因此,今日净值将显示USDC金库下跌约15%,SPYx下跌约12%,JitoSOL下跌约9%。下周将发布详细报告,包括后续处理方案。链上调查员ZachXBT此前公开质疑PiggyBank,指控其内幕控制95%以上供应。
  • 查看更多