icyalala

icyalala

V2EX 第 12881 号会员,加入于 2011-10-23 20:02:17 +08:00
今日活跃度排名 16409
根据 icyalala 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
icyalala 最近回复了
涨的好慢啊,但是感觉不对。。。
按照理想情况,每天只有 8 小时,每月只有 20 天,所以真正上班的时候数字应该会比这快几倍才对
5 天前
回复了 guoguobaba 创建的主题 Local LLM mac studio 跑大模型也就那样啊
@june4 现在 LLM 推理大部分情况下瓶颈是显存带宽而不是算力。
A100/H100 那些显存都是贼贵的 HBM ,带宽都是几 TB/s ,MacStudio 512GB 带宽也就 800GB/s ,根本比不上
内存方案基本就是 ktransformers ,CPU/GPU 算力足够的时候,同样也是受限于内存带宽
5 天前
回复了 guoguobaba 创建的主题 Local LLM mac studio 跑大模型也就那样啊
之前吹的是说这个小的单机上能加载 617b 模型,而其他消费级显卡显存不够,压根跑都跑不起来。
你 amd + 64g 内存跑个 617b 看看呢?
代码是要给别人看的,而别人并不一定都像你一样有着大屏幕
我在用笔记本的时候,分左右两栏对比,80 字符就非常好,100 也不错
@catazshadow
首先人工神经网络只是灵感来源于生物神经元,并不是精确模拟。
其次 LLM 的参数只是计算过程的中间状态权重,与神经元连接数量并不能直接对比。
所以首先你对神经元理解就有问题,并且非要用权重和连接数量对比,这本身就是错误。更不用说还认为 “参数量不如人脑,所以没有智能” 的看法了。。。
@catazshadow “上头别人不是问过你了,你要怎么定义智力啊?还是说你非要拿苹果和梨比?”
你自己在主题里就写了 “它给的只是智能的错觉而已”,你是怎么定义智力的?

你要认为 AI 的智力和生物的智力不是一个东西,那就不应当拿 AI 参数和神经元连接对比,因为他们根本不是一种东西。
@catazshadow "大模型参数量和神经连接对应" 啊?!
你既然这么认为,那就回到最开头的问题,现在 GPT4 的参数量级和老鼠的量级相当,你觉得他们智力相当吗?
@catazshadow 你再仔细读读你的帖子主题,
”600B 的大模型的参数量也就这个数字的千分之一“,大模型的参数量和神经元连接是一回事儿吗?能够类比吗?
@catazshadow 有用就是说能够对应智力水平。神经元的连接能够对应智能的水平吗?你怎么证明?
LLM 的参数能对应应神经元的连接数量吗?你怎么证明?
@catazshadow “你要比应该在相同的基准上来比” 那我就再重复一遍:
并不是所有神经元的连接都是有作用的。神经元的数量也无法对应智能的水平。LLM 的参数也无法对应神经元的连接。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1175 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 10ms · UTC 18:02 · PVG 02:02 · LAX 11:02 · JFK 14:02
Developed with CodeLauncher
♥ Do have faith in what you're doing.