 |
icyalalaV2EX 第 12881 号会员，加入于 2011-10-23 20:02:17 +08:00今日活跃度排名 16409 |
♫
icyalala 最近回复了
1 天前 回复了 mereith 创建的主题 › 开源软件 › [开源] 实时工资计算器 - 看着你每秒都在赚钱 |
涨的好慢啊，但是感觉不对。。。
按照理想情况，每天只有 8 小时，每月只有 20 天，所以真正上班的时候数字应该会比这快几倍才对
按照理想情况，每天只有 8 小时，每月只有 20 天，所以真正上班的时候数字应该会比这快几倍才对
5 天前 回复了 guoguobaba 创建的主题 › Local LLM › mac studio 跑大模型也就那样啊 |
@june4 现在 LLM 推理大部分情况下瓶颈是显存带宽而不是算力。
A100/H100 那些显存都是贼贵的 HBM ，带宽都是几 TB/s ，MacStudio 512GB 带宽也就 800GB/s ，根本比不上
内存方案基本就是 ktransformers ，CPU/GPU 算力足够的时候，同样也是受限于内存带宽
A100/H100 那些显存都是贼贵的 HBM ，带宽都是几 TB/s ，MacStudio 512GB 带宽也就 800GB/s ，根本比不上
内存方案基本就是 ktransformers ，CPU/GPU 算力足够的时候，同样也是受限于内存带宽
5 天前 回复了 guoguobaba 创建的主题 › Local LLM › mac studio 跑大模型也就那样啊 |
之前吹的是说这个小的单机上能加载 617b 模型，而其他消费级显卡显存不够，压根跑都跑不起来。
你 amd + 64g 内存跑个 617b 看看呢？
你 amd + 64g 内存跑个 617b 看看呢？
6 天前 回复了 seekseat 创建的主题 › 编辑器 › 随着屏幕的增大，还在限制或建议每行 80 个字符是否还合理？ |
代码是要给别人看的，而别人并不一定都像你一样有着大屏幕
我在用笔记本的时候，分左右两栏对比，80 字符就非常好，100 也不错
我在用笔记本的时候，分左右两栏对比，80 字符就非常好，100 也不错
8 天前 回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 |
@catazshadow
首先人工神经网络只是灵感来源于生物神经元，并不是精确模拟。
其次 LLM 的参数只是计算过程的中间状态权重，与神经元连接数量并不能直接对比。
所以首先你对神经元理解就有问题，并且非要用权重和连接数量对比，这本身就是错误。更不用说还认为 “参数量不如人脑，所以没有智能” 的看法了。。。
首先人工神经网络只是灵感来源于生物神经元，并不是精确模拟。
其次 LLM 的参数只是计算过程的中间状态权重，与神经元连接数量并不能直接对比。
所以首先你对神经元理解就有问题，并且非要用权重和连接数量对比，这本身就是错误。更不用说还认为 “参数量不如人脑，所以没有智能” 的看法了。。。
8 天前 回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 |
@catazshadow “上头别人不是问过你了，你要怎么定义智力啊？还是说你非要拿苹果和梨比？”
你自己在主题里就写了 “它给的只是智能的错觉而已”，你是怎么定义智力的？
你要认为 AI 的智力和生物的智力不是一个东西，那就不应当拿 AI 参数和神经元连接对比，因为他们根本不是一种东西。
你自己在主题里就写了 “它给的只是智能的错觉而已”，你是怎么定义智力的？
你要认为 AI 的智力和生物的智力不是一个东西，那就不应当拿 AI 参数和神经元连接对比，因为他们根本不是一种东西。
8 天前 回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 |
@catazshadow "大模型参数量和神经连接对应" 啊？！
你既然这么认为，那就回到最开头的问题，现在 GPT4 的参数量级和老鼠的量级相当，你觉得他们智力相当吗？
你既然这么认为，那就回到最开头的问题，现在 GPT4 的参数量级和老鼠的量级相当，你觉得他们智力相当吗？
8 天前 回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 |
@catazshadow 你再仔细读读你的帖子主题，
”600B 的大模型的参数量也就这个数字的千分之一“，大模型的参数量和神经元连接是一回事儿吗？能够类比吗？
”600B 的大模型的参数量也就这个数字的千分之一“，大模型的参数量和神经元连接是一回事儿吗？能够类比吗？
8 天前 回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 |
@catazshadow 有用就是说能够对应智力水平。神经元的连接能够对应智能的水平吗？你怎么证明？
LLM 的参数能对应应神经元的连接数量吗？你怎么证明？
LLM 的参数能对应应神经元的连接数量吗？你怎么证明？
8 天前 回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 |
@catazshadow “你要比应该在相同的基准上来比” 那我就再重复一遍：
并不是所有神经元的连接都是有作用的。神经元的数量也无法对应智能的水平。LLM 的参数也无法对应神经元的连接。
并不是所有神经元的连接都是有作用的。神经元的数量也无法对应智能的水平。LLM 的参数也无法对应神经元的连接。
Select Language