前两天本地部署了下 Stable Diffusion ,发现很好玩,想部署到服务器上大家一起玩。 但是本地跑性能已经够呛了,云服务器想跑起来更是要花大价钱,奈何囊中羞涩。 突然有个好想法:电脑性能过剩的年代,为啥大家不把自己的电脑性能充分发挥用来赚钱呢? 突发奇想的一个商业模式:一些特别耗电脑性能(宽带、CPU 、GPU 、内存)的功能,开发人员可以把功能剥离出来,单独开发个可以部署的服务。然后由一些家里电脑性能过剩闲置时间想拿来赚钱的人装上。然后可以通过服务难度和调用次数来付费给用服务的人,有点类似于挖矿。可以有个中间人或公司搞个监控平台进行双方接口规范和管理,赚服务佣金。家里闲置的电脑、还有民用的电费,对比商用的云服务器,优势应该很大,甚至可以搞接口竞价,感觉怎么着也比买云服务器便宜的多。 大家觉得这个东西怎么样?彻底把高价云服务器价格打下来,这样我就能更好的玩 Stable Diffusion 了。
1
XiLingHost 2023-04-25 08:41:33 +08:00 3
https://petals.ml/
你可能想说这种? https://www.solidot.org/story?sid=74446 以 BitTorrent 的方式在家用电脑上运行大语言模型 OpenAI 的 AI 聊天机器人 ChatGPT 运行在微软的 Azure 云计算平台,普通用户即使能获得 ChatGPT 使用的大语言模型 GPT-3 或 GPT-4 ,也不可能在家用电脑上运行它们。如果人人都能运行一个分布式计算系统,联合起来打造一个在算力上能与最强大云计算平台匹敌的平台,那么我们有可能在自己的家用电脑上运行和使用类似 ChatGPT 的 AI 聊天机器人。BigScience 社区正在开发名为 Petal 的系统,以 BitTorrent 的方式在家用电脑上运行大语言模型。Petal 可以集成最新的大语言模型,当前支持性能与 GPT-3 相近的 BLOOM-176B 大语言模型。 |
2
Rehtt 2023-04-25 08:47:52 +08:00 2
|
3
bluetree2039 2023-04-25 08:51:27 +08:00 via iPhone
分布式计算,二十年前就听说国外在搞了。
|
4
cpstar 2023-04-25 09:03:34 +08:00 2
二十多年前就有一个项目叫 SETI@ home ,现在挖矿模型的祖宗,利用剩余能力,主动加入,分析数据,搜索外星人。
|
5
chaojie 2023-04-25 09:08:01 +08:00
|
7
garibellee 2023-04-25 09:16:05 +08:00
@chaojie 纯 idea 啊
|
8
phttc 2023-04-25 09:20:40 +08:00
@XiLingHost @Rehtt 想问下,收益如何,能覆盖电费吗
|
9
robinchina 2023-04-25 09:21:46 +08:00
我是在央视上看到的探索外星人项目······小时候····
|
10
iyiluo 2023-04-25 09:29:19 +08:00
搞搞小应用还行,家用 PC 差异非常大,没有统一标准,网络差异也非常大
|
11
xyholic 2023-04-25 09:32:55 +08:00
当初买 3070 挖 ETH 的时候备用选项就是出租算力给炼丹的
|
12
rocksolid 2023-04-25 09:34:53 +08:00
你说的早就有了,难点在于你的项目怎么赚钱或者能便宜多少
|
13
garibellee 2023-04-25 09:38:51 +08:00
很久之前就一直在考虑这个
1 、server 和 client 的概念可以借鉴 pt 去中心化 2 、资源调度问题,能做到什么粒度 3 、收益能否吸引用户,用户粘性 4 、发布的计算任务安全性如何保证 5 、算力共享支持哪些模式,支持哪些深度学习框架 |
14
cmlz 2023-04-25 09:46:39 +08:00
国外的分布式计算,国外计算π值,寻找大质数这两个项目早有了。
|
15
chaojie 2023-04-25 09:49:35 +08:00
@garibellee 要不一起填坑啊。我也是想了挺久,总结了一下
定位: AI 时代算力云服务的迅雷( P2P ),滴滴(调度),币安(交易)平台。在此基础上面向终端用户提供多个统一的融合超级 AI 应用。 用户群体: 两种。一、AI 算力的消费者,为使用付费。二、AI 算力的提供者,从平台获取收益。两种用户可以交叉,即某用户即为消费者也为提供者。 需求分析: AI 时代算力昂贵,算力不足。特别是我国被美国制裁的前提下。Chat 类低算力要求的场景尚且不能大规模推出,绘画视频类的场景更是很难涉及。终端用户排队 loading 的体验根本无法真正作为生产力工具使用。 另一方面,又有设备闲置。很多游戏爱好者购买高端显卡,真正使用的时间最多占 24 小时的六分之一。很多矿场违法挖矿,生产虚拟币,个人还看不到对社会很积极的作用。 还有,百度、阿里、腾讯等有实力的公司也不可能推出一个通用应用,分配几十张显卡给某一个用户去生成视频,但一张显卡占用 1 小时和 60 张显卡占用 1 分钟的体验是完全不同的,算力却相同。无法满足个性化的付费需求。 再者,大模型通常有较大的存储占用,与特定的环境需求,但未来一个视频的生产过程,整个流程分解开来通常需要多种模型能力来合作,如果只是一台机器,很难顺畅流畅的串连起流程,优秀且无感的完成这种任务,而且这种只能开发者个性化的来完成实施,不可能大规模的推向普通消费者。 一种模板式的融合超级 AI 应用,能够无感的使用多台服务器,多种模型能力,对于普通消费者来说才是真正的 AI 生产力工具,才能真正让 AI 社会到来。 这种服务却一定要是分布式的,可控的,不能前面的流程已经绘制完成,最后负责合成结果的服务器下线了,所以一定是大规模的有多种冗余机制。但如果要做到低成本,就只能是 P2P 这种形式。 而为了解决提供算力用户的安全性担忧,客户端代码必须是开源的。服务器端代码可以在平台形成优势后逐步开源。 |
16
tool2d 2023-04-25 09:54:26 +08:00
显卡高强度 24 小时开着,也是有损耗的。
高端显卡光折价费就不低,估计很多人并不愿意。 |
17
lithiumii 2023-04-25 09:59:02 +08:00 via Android
跑 sd 的也有,stable horde ,跑图出来的积分可以用来让别人帮你跑图。积分可以转让,所以应该能找到买卖的
|
18
wanwaneryide 2023-04-25 10:00:38 +08:00
个人用户加入的话,怎么平衡个人电脑的资源调度? CPU 、GPU 、内存这类资源用户不清楚什么时候用的到,但是你又不能让用户的电脑卡顿,不然分分钟就卸载了
|
19
wagmi 2023-04-25 10:02:36 +08:00
个人用户加入,预计能有多少收益呢?
顾得住电费的基础上 |
20
chaojie 2023-04-25 10:04:48 +08:00
可以看的出来,这个趋势很多人都预见的到。
前面很多人说国外什么项目早就有了之类的,那是完全不同的。以图片生成举例: 一、这个不是公益性项目 二、这个是可以实现几秒出图就有收益的。因为有人付费。并不是要算很久出了一点点结果才有收益 三、这个并不是所有人都统一一个最终任务,统一一个环境 四、现在很多大模型需要 20G 以上 VRAM ,甚至下载一个模型需要半天。但是用户只需要用很短时间生成一个结果,因此很多人想尝试也尝试不了。但你可以出售 3070 的算力,去交换 A100 的算力 五、现在 google colab 禁止 sd webui 运行了,可以看的出免费的算力是很难长久的 六、huggingface 上很多 space 都没办法稳定用,就算能忍受慢也白搭,出错是常态 |
21
chaojie 2023-04-25 10:08:54 +08:00
@wanwaneryide 这个很简单,只需要一个开关就解决了。打开说明你不用电脑了,可以出售算力
|
22
wanghui22718 2023-04-25 11:10:58 +08:00
我 devops 全栈,有兴趣,想干,有时间。合伙可以找我 rrrgqhq
|
23
nicholasxuu 2023-04-25 11:13:57 +08:00
有几个难点:
1. [未来的不确定性] 即使对于现在的小模型,也只有少部分电脑能单机运行(显存要求高)。一段时间后,可能会出现,任何值得跑的模型都需要 20G 显存的情况,那么这个分布式工具可能就白做了。(甚至如果用虚拟货币来简化中间结算的话,假设没有合法问题,也可能会有暴雷跑路的风险) 2. [当前市场的不确定性] 用量小的,试着玩的,大概率不会为此付费。需求用量大的,能创造价值的,可能考虑自己买机器和显卡,或者会使用云服务。分布式的市场可能存在,但不是特别明显,只能做出来试试看结果。 3. [技术问题] 生成出来的内容的加密保护和完整性验证。 - 用户花钱生成出来的结果,归属权是花钱的人,所以制造的机器不能有权利看到内容,要在没有可查看的临时文件的情况下给结果加密,传给付费者,也就是要修改模型生成的代码,支持新模型和更新老模型的成本略高。 - 完整性其实是最麻烦的,如果乙方的 GPU 有问题,生成出来的图片质量有问题,这东西没法用算法来判断(因为本来就可能 10 台机器会生成 10 个不同的结果),甚至可能让人来判断都不好判断(不知道是算法的锅还是显卡的锅)。难道可以让甲方给乙方的结果打分?数据量大且平均分低的可能就是显卡的锅了? |
24
fiht 2023-04-25 13:56:11 +08:00 1
解决痛点:A 用户有计算的需求,但是云计算价格昂贵,想要更廉价的计算方案。而有一些普通用户有闲置资源,成本较低。可以通过一个中间平台,打通消费端到供给端的通路,并收取中介和管理费用。
有很多类似的运作模式。比如 PT:大家共建一个 P2P 网络,激励是社区的积分(上传量)。比如 PCDN:通过限制的带宽来赚钱。 共享算力的也有,例如去淘宝开个店铺,按天或者按小时租赁高性能设备。或者一些平台上搭建的私人 GPU 共享的方案。 现有的算力共享相当于 IaaS ,楼主是想做个 PaaS 。把出租整个机器变成出租一个计算功能,租户不用管底层的硬件设施。 我觉得是可行的,有几个点要考虑: 1 )技术问题:用户自己管理的机器,稳定性存在问题。 2 )财务问题:需要有一个业务场景,有大规模计算量的需求,能够给社区源源不断输血,而且相比云计算 OR IaaS 方案能够带来成本上的节约。 3 )安全问题:解决数据安全的问题。这个类似网格计算,网格计算的一个最大问题就是数据安全问题,数据在一个不可控的环境中计算,数据怎么存,怎么防止泄漏,炼的丹药等等。 其中最大的问题我觉得是 2 ,PaaS 的方案能比 IaaS 的方案节约多少成本呢,我觉得是有个问号在的。 |
25
ychost 2023-04-25 15:09:00 +08:00
@robinchina 我上学那会儿还用实验室参加过这个项目大概 13 年左右,伯克利学院搞的,当时也能挖矿,老师在挖矿和找外星人选了后者,跑了一段时间,没啥进展
|
26
jokeface 2023-04-25 15:49:36 +08:00
有兴趣
|
27
xiaoding 2023-04-25 16:21:17 +08:00 1
迅雷玩客云就是这个思路,之前好像做网吧系统的顺网也搞过,京东云现在的无线宝也是做这个的。
这个模式目前来看跑不太通,首先是技术难度比想象中大,安全什么的都是问题;其次高估了个人用户的收益,例如一个普通用户,要整天让他把电脑开着,显卡转着,减去电费宽带费一年赚 50 块以内,两杯咖啡,他大概率是不乐意;最后是低估了公有云厂商的能力,如果计算一下,我相信单位算力、单位带宽、单位存储,公有云厂商做起来相比个人肯定是更便宜的,再加上公有云还能更好的弹性分配,确保资源利用最大化。 |
28
blackboar 2023-04-25 18:10:56 +08:00
首先这个思路没问题的,其次是怎么调度均衡到各个主机,第三就是业务场景了。说实话如果业务场景可行,完全可以不用家庭电脑,大批量数据中心部署都行的。
|
29
lucybenz 2023-04-25 21:43:29 +08:00
民用电力 零散计算设备 闲时收益 这种玩法 很难和规模化机房 大宗电费交易 来做成本上的抗衡, 或许 纯公益项目 参与者自负成本 用爱发电贡献算力,倒是有可能的,比如说 为 idol 贡献算力
|
30
Aloento 2023-04-25 21:49:39 +08:00
|
31
dewi 2023-04-26 00:43:59 +08:00 via iPhone
币圈已经有人这么干了,就是 dnx ,dnxcoin 主打的概念就是打造全球最大的神经共享网络,挖矿的积分可以用来跑各种算力任务,比如 AI ,视频,加解密这类的,把矿工的矿机当做生产力工具,理念吹得是很宏伟,实际上还是挖矿。😂
|
32
dqzcwxb 2023-04-26 00:56:57 +08:00
"百度金矿"
|
33
chaojie 2023-04-26 09:30:55 +08:00
|
34
chaojie 2023-04-26 09:35:38 +08:00
|
35
garibellee 2023-04-26 10:27:33 +08:00
@chaojie 1
|
36
deorth 2023-04-26 10:46:53 +08:00 via Android
您是不是在找 : BONIC
|
37
wudiiiii 2023-04-26 17:24:02 +08:00
我认为这个系统很难实现,任务调度成本太高。
|
38
xpc 2023-04-27 17:34:01 +08:00
有点沙雕。如何得出"感觉怎么着也比买云服务器便宜的多的结论的"?
|
39
mk0114 2023-04-28 09:32:55 +08:00
考虑一下政策风险吧
|