1.75 万亿个参数？这是不是就有点离谱，这就是未来人工智能的发展方向吗？

[Raven316]

理论没啥大突破，就硬堆参数和算力呗。

https://mp.weixin.qq.com/s/iziwgtHTpZO-f1eZbx3pJQ

[statement]

多核就不是技术了？

[Raven316]

@statement 算什么技术，就这么大个模型，他能达到高中毕业生的数学水平吗？

[wateryessence]

@Raven316 老哥是做相关方向的吗，这么暴躁

超大模型只能说是一个探索方向，谷歌那篇文章更侧重再讲在超大模型里针对不同任务的优化手段

[kop1989]

目前的 AI 依然是“统计学”范畴。
“机器学习”、“神经网络”都是统计学最终落地的算法方式。
此文中提出的“超大模型”也是一种。

他们的最终目的都是高效的总结出既有数据的最优解或局部最优解。

[kop1989]

换句话说，目前的 AI，依然是“举三反一”，而不是“举一反三”。

[villivateur]

我不知道楼主是不是学相关方向的，但就我来讲的话，我对自己不熟悉的领域，是抱有敬畏之心的

[Raven316]

@villivateur 你看他文章里说了的吗？

“悟道 2.0”不仅仅是个语言模型，它是一个全能选手，一统文本和视觉两大领域，在问答、绘画、作诗、视频等任务中正在逼近图灵测试。

他这个模型，能写出 50 万字的连贯的前后一致，没有矛盾，没有 bug，有整体逻辑和架构感的小说？现在 nlp 写的小说，超过几千字就没有任何逻辑可言了，在这吹接近图灵测试，我真的笑了。

[lxiian]

同意楼上↑

[lxiian]

怎么和楼主同一时间回复了。。。。。同意楼上不是楼主那一层。。。是同意 6 楼

[mxT52CRuqR6o5]

你们就已经预设楼主不懂 AI 领域了，没有敬畏之心
我也没太明白现阶段搞个全能 AI 是想干嘛

[GeruzoniAnsasu]

我不懂 AI 算法怎么算

但我知道 CNN 的核心思路是找到提取特征的方法降低参数量，而深层神经网络能帮助拟合出有效特征。


那由此即可以推广：
1. 神经网络的作用就是自动寻找样本的特征提取方式
2. 基于类似神经网络结构的“AI”，原理必定是特征提取+统计回归。起码“判定网络”必定如此。
3. 目前还没看到突破性的新“生成网络”技术手段，因此现阶段所有的生成网络必定要由 2 所述的判定网络进行约束。
4. 人类创新能力的本质特征就是能够突破经验框架或历史模式。
5. 综上，现有结构的“AI” 与 4 矛盾，因此永远无法完成类人的创造性事务



其实讲个笑话，艺术创作往往是在试探人类逻辑的边界，比如人们能不能欣赏无调式音乐，能不能感受色块代表的光影，能不能接受最恶最善的社会属性共存。不会有人指望人们能搞出一个“能搞出自己认知边界外的东西”吧？

[worryfree]

@Raven316 那你造啊，怎么天天论坛僵的人那么多

[johnsona]

@kop1989 还是统计的思路 深度学习中的很多技术是工程上技术 比如随机梯度下降

[love]

现在的 AI 和大家认识中的真正的 AI 完全不是一个东西，离真 AI 一步都没走出过，没什么好比较的

[zagfai]

参数这么多为什么没有过拟合？

[ignor]

面向经费编程罢了

[Trim21]

图灵测试有个具体标准吗，比如问多少个问题之类的。

不过一个语言模型要啥高中毕业生数学能力啊

[InvincibleDream]

@GeruzoniAnsasu 不严格的来讲神经网络定义了一类函数空间，特定的结构和参数可以从中划分出子空间使得其映射满足一定的约束，把这些约束简单分为特征提取及统计回归可能不够充分。经验框架或历史模式的突破能否在神经网络这类函数空间内求解还不是很清楚。

[namelosw]

这种类似 GPT3 的大模型在做很多事情很有用，比如发垃圾公众号，按口述要求写代码供程序员校对，自动生成 WordPress 预售网站之类的。

虽然不是大家期望的 AI，也不是真的有思想和智能。

但是假如放出来每个人都能随便用的话，会对世界造成巨大影响。比如最直接的，搜索引擎有可能被垃圾信息打垮，因为每个人都可以把有版权的东西让 AI 「用自己的话抄袭一遍」，还可以整合和续写等等，这些东西还能应用在图像和视频上，之前还有一些自动生成动画和美工设计的应用。

讲真，现在很多人写的公众号空洞得还不如机器写的，其中还有很多订阅量很高。

[wateryessence]

@zagfai 整合多个专家系统，对不同任务激活不同路径的思路