V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
hguangzhen
V2EX  ›  奇思妙想

如果把 AI 与加密货币结合起来,是否可以把 AI 训练成本降低

  •  
  •   hguangzhen · 2023-04-14 11:06:03 +08:00 · 2747 次点击
    这是一个创建于 406 天前的主题,其中的信息可能已经有所发展或是发生改变。

    刚一上班看到新闻说是:微软宣布开源 Deep Speed Chat 。现在算法已经公开,难度就是相关的训练资源之类的。之前一直听说 ChatGPT 训练有多么多么花钱。突然想到现在虚拟币热度降低,是否可以把虚拟币挖矿的矿机用来进行 AI 学习。

    1 。 虚拟币有了实际的价值,可以把耗费的资源生成对应的虚拟币,用户还可以使用虚拟币够买矿场算力,够买训练好的 AI 模型 2 。 机器学习,直接脱离了大厂的控制,实现分布式。参与资格降低

    不过也想到可能实现的难度突破天际。大家讨论下,有一丝丝的可能吗?

    16 条回复    2023-04-20 09:14:51 +08:00
    dallaslu
        1
    dallaslu  
       2023-04-14 11:22:09 +08:00
    不如让 AI 统治世界,各地 AI 在纯理性的讨论中,达成 51% 共识,把矿场规模控制在能维持加密货币运转的低成本状态
    conhost
        2
    conhost  
       2023-04-14 11:24:13 +08:00
    1 、不是能用虚拟币买的东西,都能用 RMB 买么?而且如果真用虚拟币购买,怎么开发票?
    2 、是大模型需要的算力很庞大,也就是说需要的钱多,这才是限制参与资格的地方。
    hguangzhen
        3
    hguangzhen  
    OP
       2023-04-14 11:34:09 +08:00
    @conhost 1. 如果 AI 训练和虚拟币结合,最终会出现稳定的交易市场,那对应 RMB 也有了参考值,应该是更容易开发票了。
    2. 算力庞大,如果可以分解成一个个子训练任务,分发到全世界的矿机上,那参与资格就降低了
    Debin006
        4
    Debin006  
       2023-04-14 12:30:16 +08:00
    主要问题还是分布式训练难度比较大,需要很大的带宽,并行运算也很困难,而且没法保证训练集的可靠性。需要解决的问题有:
    1.需要重新设计适合分布式训练的网络。——这个只能等相关领域的大牛了
    2.数据集可拆分可加密可训练。——这个我知道的有很多国内的云计算企业在做
    3.中心化还是去中心化
    buyan3303
        5
    buyan3303  
       2023-04-14 12:38:05 +08:00
    有没有一种可能:挖虚拟币的算力,不适用于 AI 训练?

    另外虚拟币价值不定死,它才有炒作的余地,才可能有更有价值。
    如果它个稳定了,大量的投机者就会逃离虚拟币、及虚拟币交易市场,很有可能导致虚拟币市场崩塌。
    jybox
        6
    jybox  
       2023-04-14 12:59:35 +08:00
    总有人想把工作量证明(挖矿)的算力用来做「有意义」的事情 ...

    工作量证明(挖矿)最重要的是计算的结果可以被轻易地验证(即做工困难但验证容易),所以大多数工作量证明算法才会选择算 Hash 碰撞这种没什么意义的计算。而一旦要用做比如训练模型,那么就需要重新设计一套算法,让计算可以被等量拆分、可以很容易验证计算结果的正确性,然后还需要一个中心服务器来协调计算任务(而 Hash 碰撞这种无意义计算是不需要太多协调的)。即使最后实现了,因为算法的设计导向不同(原本只是为了高效地计算,现在改成了可拆分、可验证),可能效率会下降很多(甚至下降一个数量级都有可能),也就起不到楼主说的降低成本的效果了。

    再就是现在 Ethereum 已经从 PoW (工作量证明)切换到了不需要挖矿的 PoS ,算是在这个头部的链上面证明了 PoS 的可靠性,挖矿不再是一个必须的选择。
    iamqk
        7
    iamqk  
       2023-04-14 14:25:00 +08:00
    估计不行,有些行为,比如挖矿,就是一些简单的重复行为,能够精简的估计不用 ai 也精简的差不多了吧
    RRyo
        8
    RRyo  
       2023-04-14 14:25:14 +08:00
    你是否在查找:Gridcoin
    conhost
        9
    conhost  
       2023-04-14 15:33:24 +08:00
    @hguangzhen 1 就不说了。机器学习的训练一般是端到端的,基本上是不能分解的,只能并行训练。然而不像挖矿一样单机是对同一个输入计算,模型并行各机器上需要针对不同的数据进行训练,并将训练中的梯度汇总到中心服务器,这就限制了各个框架的随意进入和退出,同时还需要各种措施保证梯度的准确性。
    此外,这并不能解决算力的问题啊,该需要多少算力还是多少算力,只是解决有没有可用算力的问题,限制参与资格的还是钱呀。
    mxT52CRuqR6o5
        10
    mxT52CRuqR6o5  
       2023-04-14 15:36:04 +08:00
    我觉得比较难,人脑也不是分布式计算的
    我觉得成本降低方向可能得往更加专用硬件方向发展
    z7356995
        11
    z7356995  
       2023-04-14 15:54:56 +08:00 via Android
    我觉得这是个好想法
    chesha1
        12
    chesha1  
       2023-04-16 13:22:57 +08:00
    加密货币的计算任务是好拆分的,深度学习的计算任务不好拆分的

    先不谈通信的损耗,假设你把训练任务分发给多人之后,用了什么黑科技,等于在一个集群上算:
    效率损失也很惊人,这里有个现实的例子( mlcommons ),4216 张 A100 的速度只有 8 张 A100 速度的 90 倍,而显卡的数量是 527 倍,你可以想象一个如果分发给更多用户的损失有多惊人

    而且有一个最低限度的需求,用户的电脑至少能装得下一个模型的一部分吧,而且模型并行的效果不如数据并行好,如果用户的显存太小会非常麻烦的。你想把一个深度学习任务在一个大规模分布式系统上部署,本身就是一个很难的课题,还不如多花钱直接用好显卡在集群上跑
    nicholasxuu
        13
    nicholasxuu  
       2023-04-16 16:28:34 +08:00
    按现在的技术,可能能做一些比较简单的,比如训练一些企业专用的客服机器人,并且需要所有挖矿机器都有至少 12G/24G/32G 显存。比如把那些 4090 用起来,激励一批手动给显卡加焊内存的人。
    sahan
        14
    sahan  
       2023-04-17 10:00:36 +08:00
    Q:能否实现一种开源的基于 P2P 的大语言模型,类似比特币+chatgpt

    A:作为一个 AI 模型,要在 P2P 网络上运行是非常困难的。P2P 网络通常用于分布式存储和共享数据,而一个大型的 AI 模型需要的计算资源和存储资源是非常巨大的。此外,保证模型的一致性和准确性也是一个很大的挑战。

    目前已经有一些基于区块链的开源 AI 平台,如 SingularityNET ,但这些平台仍然需要集中化的计算和存储资源来训练和运行模型,虽然它们可以在 P2P 网络上进行交易。

    另一方面,聊天式 AI 模型(如 ChatGPT )通常只需要相对较小的计算和存储资源,因此可能更容易在 P2P 网络上实现。但是,保证模型的一致性和准确性仍然是一个挑战。

    总之,虽然 P2P 网络提供了一些有趣的机会,但是要实现一个基于 P2P 的大型 AI 模型仍然需要克服许多技术挑战。

    Q:聊天式 AI 模型分布式计算的瓶颈有哪些

    A:聊天式 AI 模型的分布式计算涉及到多个方面的问题,其中一些可能成为瓶颈,包括:

    数据交换:在分布式计算中,不同的计算节点需要定期交换数据,这可能会导致网络带宽的瓶颈和延迟增加,从而影响模型的性能。

    参数同步:在分布式计算中,各个节点需要定期同步模型参数,以确保模型的一致性和准确性。但是,当节点的数量增加时,参数同步可能会变得更加困难,因为同步操作会增加网络通信的开销和延迟。

    任务调度:分布式计算中的任务调度需要考虑节点的可用性、负载均衡等因素,以确保计算资源的充分利用和任务的及时完成。

    容错机制:在分布式计算中,节点的故障或网络中断可能会导致任务失败或数据丢失。因此,需要实现一些容错机制,例如备份节点、数据恢复等,以确保任务的正确性和可靠性。

    计算效率:分布式计算需要对模型进行切块和分配计算资源,以最大化计算效率。但是,模型的切块可能会影响模型的准确性和性能,而计算资源的分配也需要考虑到任务的特点和计算资源的可用性,从而影响计算效率。

    总之,聊天式 AI 模型的分布式计算涉及到多个方面的问题,需要仔细考虑各个环节的瓶颈和挑战,以实现高效、可靠的分布式计算。
    TransAM
        15
    TransAM  
       2023-04-17 17:12:13 +08:00
    区块链的约束太强了,大家总是说共识共识,就没想过共识到底是啥。如果把区块链比作一个 git 仓库,共识就是这个仓库只有一个分支,并且每个节点都强制更新到 HEAD 。

    你觉得这样合理吗?分布式 AI 训练就是把任务拆小给低算力的设备,你还让它们强制同步。。那就白忙活了。
    guajian
        16
    guajian  
       2023-04-20 09:14:51 +08:00
    @TransAM 共识指的是对一件事务达到一致的结果。虽然我觉得分布式 AI 很难实现,甚至是不可能,但原因不在于共识。在分布式 AI 这块,共识的结果可以是大家对某个设备的训练结果是否可信,不需要你说的强制同步。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4009 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 04:06 · PVG 12:06 · LAX 21:06 · JFK 00:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.