• 请不要在回答技术问题时复制粘贴 AI 生成的内容
seedhk
V2EX  ›  程序员

使用 ai 进行测试的疑问

  •  1
     
  •   seedhk · 21h 21m ago · 1059 views

    公司最近想使用 ai 进行测试,后端是 java,前端是微信小程序,希望两端或者仅限后端的测试。不仅仅是仅限于单元测试,还希望能一定程度上更好的完整测试工作。大佬们有关于 ai 测试的现成的工具吗? 或者有没有做过这方面的尝试,希望能得到一些信息或者工具,谢谢。

    18 replies  •  2026-10-14 09:48:10 +08:00
    charsunny
        1
    charsunny  
       20h 57m ago
    我做过一轮,主要是把验收写在前面。AI 补单元测试挺顺的,但我真正卡的是真机观感:有次小组件上了灵动岛几秒就没了,查下来是自定义字体打进包太大被系统收掉。这种不在测试报告里的问题,还是得人手摸一遍。工具我没专门选型,先把几条过不了就不合并的检查定死。
    seedhk
        2
    seedhk  
    OP
       20h 55m ago
    @charsunny 是用 ai 来补充单元测试用例,然后自己手动测试吗?
    charsunny
        3
    charsunny  
       20h 2m ago
    @seedhk 差不多是这样。单元测试让 AI 补,过不了就不合并的那几条我自己定。真机上再摸一遍,灵动岛那种观感问题测试报告里看不到。
    LoveXJP
        4
    LoveXJP  
       19h 59m ago
    最好是行为测试,不然测试越堆越多
    JohnnRen
        5
    JohnnRen  
       19h 24m ago
    web 开发我一般用 gemini + playwright 端到端测试
    提示词我自己用的这个(比较简单的)
    https://github.com/john-walks-slow/rabbit-skills/blob/master/.apm/agents/e2e-tester.agent.md
    nunterr
        6
    nunterr  
       19h 14m ago
    AI 测试这块确实不太理想,测试部门这边辅助手段大部分是对生成的测试用例,使用 AI 去执行,执行的话还是调用对应的客户端让 AI 去执行,拿到测试结果,
    整体效果并不好,使用 Claude 或许会好些,最终上线或者使用还得经过测试人员的详细测试及验收才能最终上线。
    现在对于功能测试没有多好的办法
    对于单元测试,代码审计,安全测试等这些 AI 基本上可以完全信任,功能测试还不行
    seedhk
        7
    seedhk  
    OP
       18h 1m ago
    @JohnnRen 谢谢,我研究一下
    seedhk
        8
    seedhk  
    OP
       17h 59m ago
    @nunterr 你们的功能测试用例还是要自己写吗? 如果给 ai 比较详细的需求和业务流程描述,让 ai 来生成测试用例是否可行? 或者让他来生成+测试

    另外你们如何使用 ai 来测试的,是利用现有的工具,还是 ai+命令行? 谢谢
    loopq
        9
    loopq  
       17h 26m ago
    视情况说,一般的需求 AI 能完成主要路径的 50%以上,产出测试用例,然后按规划执行,产出报告截图等等,需要多模态能力,但是不是 token 流水一样呢?
    上面是和 Claude 聊的结果,准备推进落地,主要是现在开发太快了,测试跟不上,让老板多招有经验测试也不愿意

    总体一些特别边界的情况还是得人工,总体感觉是可行的,一些差口气的地方过几个月兴许就更没问题了
    nunterr
        10
    nunterr  
       16h 57m ago
    @seedhk 会配合测试平台+SKILL 来辅助,最终效果不会太好,但是辅助的话能完成基础测试的验收和冒烟测试,其他的还需要人工来进行
    quxiaojuncuiyue
        11
    quxiaojuncuiyue  
       4h 52m ago via Android
    你这种情况肯定是 adb 脚本完成端到端的测试呀
    seedhk
        12
    seedhk  
    OP
       2h 46m ago
    @nunterr #10 方便问下你们用的是哪个测试平台吗? 还有个问题是为什么 ai 做不了功能测试?
    seedhk
        13
    seedhk  
    OP
       2h 45m ago
    @loopq 产出测试用例的意思是,ai 只能介入前期的测试是吗? 后期的测试还是需要人工? 能不能让 ai 完成完整的测试流程?
    seedhk
        14
    seedhk  
    OP
       2h 45m ago
    @quxiaojuncuiyue 后端接口做不了把?
    nunterr
        15
    nunterr  
       2h 15m ago
    @seedhk 因为现在 AI 对事物理解能力还不行,交互操作还不太行。基本上现在市面上所有的 AI 测试都只能辅助,能提升测试效率,提不了最终测试质量
    loopq
        16
    loopq  
       1h 43m ago
    @seedhk #13 我的思路是产出 测试用例 作为开发阶段 Spec 级别的东西全局指导开发(测试),可以和 AI 聊清楚共同产出测试用例,后续测试用例按着 Spec 来,不允许越界&自由发挥,精确指导

    后续的测试还是 AI 来,Android 手机上是 adb 截图,以及日志和基建(快速跳转模拟测试环境)辅助,按照我这段时间让 Claude 自行验收的成果来看,识别率成功率很高,后续可能就是成体系的测试专门阶段,目前想法是 根据 prd 聊清楚测试用例,准备前置环境,然后指定大模型进行测试,产出带截图测试报告,这份报告需要直接进入 bug fix 阶段,前期可以手动串联各个阶段,成熟之后再全自动

    总体就是面向 AI ,提供对应上下文,让 AI 有能力自行判断
    quxiaojuncuiyue
        17
    quxiaojuncuiyue  
       1h 40m ago
    @seedhk 意思就是 你编写 adb 脚本完成页面的自动化点击 然后加 probe 调接口获取数据 跟页面上显示的信息进行核对不就好了么
    quxiaojuncuiyue
        18
    quxiaojuncuiyue  
       1h 37m ago
    @seedhk 同样 probe 也可以帮你过验证码 滑块啥的 做这种辅助啥的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   6027 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 03:25 · PVG 11:25 · LAX 20:25 · JFK 23:25
    ♥ Do have faith in what you're doing.