有的时候真不能太相信 AI

[daxigua1te]

最近有个新想法，其中某个核心功能有点复杂，就先在 Github Copilot 上问了下，回答我说有现成的第三方库可以调用，甚至还给出了示例，几行代码直接调用就好。我一看还有这好事，flutter 项目直接搞起，哐哐一顿造，写到这个功能，准备添加依赖了，好家伙，直接提示我没有这个库，顿时傻眼了，还以为哪里出了问题。看了半天发现结果是 AI 在瞎扯淡，我不信邪，告诉他没有这个库，他倒好，老老实实承认错误，又给我哐哐编了一个新第三方库，甚至又给出了示例代码，结果嘛，果然又是个假的。 以前一直用 AI 解决问题，还挺爽的，有些回答可能不怎么准确，也没到瞎扯淡的程度。哎，我果然还是太信任他了。

[conge]

他这是提示你，你可以先把这个库给写出来

:)

[mobpsycho100]

试试 o1-preview, 挺给力的

[mumbler]

大模型有幻觉是常识，还好大模型不断在升级，写代码能力一直在提升

[layden]

常见的问题问一下是没问题，太偏太复杂的问题大模型也不懂。但离谱的是，面对它不会的东西它会选择瞎扯，而不是承认不会，有时候觉得这也有点太不够 AI 了吧。

[kyro00000]

早几个月前刷有机化学题的时候就知道啦...
它随便给你编答案,我照着参考答案都是懵逼的..
问些简单概念问题它能答对,稍微复杂点就开始瞎编了.

[t41372]

@layden 因为 ai 自己其实不知道自己说的是不是对的...

[lloovve]

凡是网上查不到的，他基本都不会！大部分时候只能当搜索工具用

[fds]

也不怪它，毕竟它训练时就是要生成一个尽量合理的答案，还不让上网查。能搜索的 perplexity.ai 会不会好一点？

[sshnuke]

gemini 或者 tongyi 写代码更好些

[fox0001]

@fds #8 perplexity.ai 会好点，但也不能全信

[etwxr9]

ai 会瞎编是常识，ai 说得再好听也不要信，从根本上就不要尝试用 ai 去做事实判断，只用它做文本分析和处理。越了解 ai 能力的局限性，ai 用起来就越舒服。

[jackple]

第一时间你不去搜一下这个库你就不对了, 😄

[leegradyllljjjj]

大模型都是概念模型，只能说它认为大概率存在这样的一个库

[Frankcox]

让我想起我们公司一个抽象的开发，问 AI 一个库的某个参数有多少个状态，然后截图发给我们让我当文档用，我们拿着文档一对发现一半都是胡编的。

[helionzzz]

ai 的任务是尽可能模拟

[helionzzz]

@helionzzz 出一个符合逻辑的回答

[iyiluo]

别说，AI 编出来的函数调用还像模像样，但是一运行就露馅了

[wolfie]

一直都这样，有时候非常上头。

[ruobingm]

@fds 就 5 次。。。

[Felldeadbird]

一直都是这样啊。有一些库都已经用不了，还不断推荐。还说这是开源的，明明人家库都从开源转换收费版本了。
代码这方面算好了。OCR 才是离谱。识别不出来就跳开嘛。AI 直接给我自己润色。

[zongren]

没有这个库，但是先假装有这个库

[lovedebug]

AI 的悖论：使用者自身必须达到所问领域平均水平，才有能力鉴定真假

[wqhui]

ai 只能做你懂的东西，有点像更高级的自动化工具

[lyxxxh2]

肯定是你的问题,ai 可是学完的整个 github 。
你一个程序员怎么比得过几千万程序员的知识。
(狗头保命)

[summerLast]

你不知道你不知道的，AI 知道它不知道的，

[summerLast]

@summerLast #25 准确不是 LLM 的首要目标，顺畅对话（即使胡扯）才是，就说流不流畅吧，效果不好，对不起我们会增加训练的数据量的

[monkeyk]

避免 AI 出现胡编乱造，在写提示词时加上：
请依据你所掌握的广泛知识来严谨作答，避免提供未经证实的信息。

等类似的内容，就可以很好的处理掉。

[rekulas]

我还以为是 22 年的帖子，看了下时间 确定是现在
所以我想问 op 你第一天用 ai 吗 😂

[chrisji1024]

用好 ai 的前提是掌握正确提问的方法

[zander]

先找到库。
库这玩意，你找不到，AI 给你找的多半是假的。
最好是找到库让 AI 帮你读，你参考示例再继续做。

[WhateverYouLike]

哈哈哈喜闻乐见

[NoOneNoBody]

gpt 3.5 出现过几次，4o 后没再见过(也可能是我提问的方式变了)
给出的代码很完整且阅读通畅，我觉得不是创作出来的，更像是从哪里抄的，应该是有人写了类似的简易模块开源，被 gpt 读到了，但作者并没有把这个模块打包为库，gpt 将人家引用自家模块的代码输出了，结果就是找不到

[AoEiuV020JP]

好几次了已经，我清清楚楚的问有没有第三方库实现了我说的功能，ai 几乎总是会信誓旦旦地告诉我某个库可以实现，明明白白的告诉我怎么使用， 一查就是没有，

[nyxsonsleep]

@layden #4 因为它的参考语料里没有承认不会的内容。并且由于数据太多，很容易混淆概念。

[Terry05]

早就发现它是在胡扯了，比较细节的东西，可以问问他方案，思路一类的，具体的现实内容绝对不能指望

[J0seph]

大模型是语言模型，只考虑给的回答通不通顺，又不管对不对

[maemolee]

你别管他有没有撒谎，你就说 AI 给你的回答，是不是像模像样的？

这就是 LLM 的第一要务。

[cosmicray]

反面是无论问什么都回答不知道，这个对模型来说更容易做到，但是也更没用。实际上人也经常编造内容，ai 更严重还是因为认知能力不足。

[win301]

这也算是收获了经验，下次可以先确定依赖库是否真的存在，然后在在确认一下依赖库里的方法是不是确实是你需要的，然后在开始设计程序

[jqtmviyu]

除了瞎编库, 还有一本正经的用 n 年前的废弃文档告诉你解决方法.

[PeneceaQwQ]

不带 RAG 相关的都存在幻觉的，就算有合适的 prompt 都可能存在瞎编，o1 稍微好点

还是把 AI 当成 idea 获取器和搜索引擎算了