neteroster 最近的时间轴更新 neteroster 最近的时间轴更新 |
neterosterV2EX 第 191331 号会员，加入于 2016-09-11 21:01:55 +08:00今日活跃度排名 4245 |
neteroster 最近回复了
2 天前 回复了 guoguobaba 创建的主题 › Local LLM › mac studio 跑大模型也就那样啊 |
本来就是玩具水平，你在期待些什么？
Mac 的优势只有一个，那就是能在 bs=1 和轻 prefill 负载下以相对好的性价比跑较大的模型，这是因为他的内存带宽高而计算能力相比起来非常非常低，因此就算 M3U 跑 r1 这种激活不到 40b 的 MoE 在真实工作负载下也就略高于 10tps ，上下文一长生成速度和 TTFT 更是难看。
Mac 的优势只有一个，那就是能在 bs=1 和轻 prefill 负载下以相对好的性价比跑较大的模型，这是因为他的内存带宽高而计算能力相比起来非常非常低，因此就算 M3U 跑 r1 这种激活不到 40b 的 MoE 在真实工作负载下也就略高于 10tps ，上下文一长生成速度和 TTFT 更是难看。
5 天前 回复了 Free3 创建的主题 › 问与答 › Grok 从下个月开始不送了，还有什么途径吗？ |
----正经付费----
* chatgpt + 家宽：优点就是完善的用户体验，o3 满血版有很好的工具调用能力等。缺点很多，没得 api 用，上下文 32k 不是很高，即使家宽也有可能降智等。
* 付费如果不一定要 api ，仅仅对话，推荐 poe ，效果和 API 一样的。比用各个平台 API 便宜不少，前提是你得把一个月的点数花光。
* 中转的话也有不错的，主用 API 其实推荐中转。下面是我用了那么多站觉得不错的几个（没有任何利益相关，都是正价官转）
openrouter 大牌中转了，稳定性没问题，可以支付宝充值，模型全，手续费稍高，o3 不支持 API 使用。
ohmygpt.com, aihubmix, oaipro ，这三家是我用着觉得没什么问题的国内中转，和用官网 API 没区别。
----低成本----
* gcp 绑卡 300 刀赠金，3 个月期限，可用 Gemini 。也有人出售，可做结算转移。
* openai api 充值开数据分享计划，每天有不少免费额度，但是可以用的模型和账号等级以及账号验证情况有很大关系
* azure 学生（如果是学生），赠金 100 刀一年，能开 gpt4.1, o3-mini 等。
* chatgpt + 家宽：优点就是完善的用户体验，o3 满血版有很好的工具调用能力等。缺点很多，没得 api 用，上下文 32k 不是很高，即使家宽也有可能降智等。
* 付费如果不一定要 api ，仅仅对话，推荐 poe ，效果和 API 一样的。比用各个平台 API 便宜不少，前提是你得把一个月的点数花光。
* 中转的话也有不错的，主用 API 其实推荐中转。下面是我用了那么多站觉得不错的几个（没有任何利益相关，都是正价官转）
openrouter 大牌中转了，稳定性没问题，可以支付宝充值，模型全，手续费稍高，o3 不支持 API 使用。
ohmygpt.com, aihubmix, oaipro ，这三家是我用着觉得没什么问题的国内中转，和用官网 API 没区别。
----低成本----
* gcp 绑卡 300 刀赠金，3 个月期限，可用 Gemini 。也有人出售，可做结算转移。
* openai api 充值开数据分享计划，每天有不少免费额度，但是可以用的模型和账号等级以及账号验证情况有很大关系
* azure 学生（如果是学生），赠金 100 刀一年，能开 gpt4.1, o3-mini 等。
6 天前 回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 |
看起来这里的讨论还是有点意思的，我来抛几个砖：
> 原帖：就是 6500000 亿个连接。这要多少“参数”才能完整模拟。600B 的大模型的参数量也就这个数字的千分之一。所以...
这个论证并不明确。这些连接（条件）能达到某种效果不意味着达到某种效果需要这些条件。你当然大可以拿出所谓进化论去说一些道理，不过我仍然不认为这个论证是明确的。
> 所以说现在这种被称作 AI 的东西，根本没有智能
你可以说一下至少你自己对智能的定义吗？在没有共识的情况下讨论一个概念是没有任何建设性的。
进一步的，在明确了智能定义的情况下，你能比较严格的证明一个统计学模型（或者更准确地，一个由神经网络表示的语言模型（ LM ））为什么永远不可能拥有“智能”吗？
---
个人观点：人类目前对意识、智能的概念了解甚少，以至于现阶段无法对大语言模型和类似人工智能系统的“本质”和“智能性”做任何形式的断言。
> 原帖：就是 6500000 亿个连接。这要多少“参数”才能完整模拟。600B 的大模型的参数量也就这个数字的千分之一。所以...
这个论证并不明确。这些连接（条件）能达到某种效果不意味着达到某种效果需要这些条件。你当然大可以拿出所谓进化论去说一些道理，不过我仍然不认为这个论证是明确的。
> 所以说现在这种被称作 AI 的东西，根本没有智能
你可以说一下至少你自己对智能的定义吗？在没有共识的情况下讨论一个概念是没有任何建设性的。
进一步的，在明确了智能定义的情况下，你能比较严格的证明一个统计学模型（或者更准确地，一个由神经网络表示的语言模型（ LM ））为什么永远不可能拥有“智能”吗？
---
个人观点：人类目前对意识、智能的概念了解甚少，以至于现阶段无法对大语言模型和类似人工智能系统的“本质”和“智能性”做任何形式的断言。
6 天前 回复了 littlemis 创建的主题 › 问与答 › 请问本地 AI 最小成本效果不错的模型推荐 (支持 function calling) |
fc 我觉得 qwen 可能会比较好，因为他们最近几个系列模型都比较强调 agent 能力，看其他地方的不少实际测试也还可以（不过要注意聊天模板的配置）
6 天前 回复了 lyxxxh2 创建的主题 › 美国 › 美国 ai 禁令是真的吗? |
从大部分信息源来看，“警告”（ warn ）是事实，但是没有提出新的规定。具体来说就是警告“使用华为 AI 芯片”违反出口管制规则；警告使用美国芯片训练中国 AI 的“潜在风险”。
https://www.google.com/search?q=US+issues+worldwide+restriction+on+using+Huawei+AI+chips&sourceid=chrome-mobile&ie=UTF-8
https://www.google.com/search?q=US+issues+worldwide+restriction+on+using+Huawei+AI+chips&sourceid=chrome-mobile&ie=UTF-8
6 天前 回复了 lyxxxh2 创建的主题 › 美国 › 美国 ai 禁令是真的吗? |
6 天前 回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 |
无所谓智能不智能，智能这玩意具体定义都没人能说个清楚。能用，好用，爱用就行（，我只关注怎么用比较好，以后会如何变得更好用
9 天前 回复了 villivateur 创建的主题 › Local LLM › 本地部署视觉大模型，用于 OCR 中文文献+翻译，最好的模型是什么？ |
#1 说得对，视觉的话就 Gemma, Qwen VL 。另外你别给模型太长文本去翻译，要切分比较好。另外有条件还是直接 Gemini Flash 来着，一张图片就三四百 Token ，非常划算
18 天前 回复了 isbase 创建的主题 › OpenAI › Chatgpt Plus o3 被降智了 |
独享 IP 也不一定不降，最好是住宅 IP （所谓家宽）+ 同一个账号 IP 不频繁变化。号黑了的话换再好 IP 也没用了。
反正我不折腾，干脆不用。
反正我不折腾，干脆不用。
Select Language