V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
pengxiying
V2EX  ›  问与答

ai 绘画小程序有必要检测敏感词,防止出涩图吗?

  •  
  •   pengxiying · 276 天前 · 1135 次点击
    这是一个创建于 276 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近写了个 ai 绘画小程序,有一些 sd 模型可以出涩图,我该如何检测呢?之前用了一个敏感词检测 API ,但是这 API 太“敏感”了,比如中国,鸡这样的字眼都会报存在敏感词。 或者是说只需在反向提示词那里做限制就可以了?

    7 条回复    2023-07-31 10:20:06 +08:00
    estk
        1
    estk  
       276 天前
    百度 AI 的敏感词和图片审核水平还不错,可能是经过了贴吧的摧残而提高的
    chenjia404
        2
    chenjia404  
       276 天前
    肯定要啊,不然出现黄图,轻则喝茶,重则进去。
    systemcall
        3
    systemcall  
       276 天前 via Android
    建议直接买个大厂的检测服务
    没什么大范围传播的话,出黄图一般也不会进去多久,但是要是出现了小熊维尼的图的话,搞不好直接蒸发了
    whileFalse
        4
    whileFalse  
       276 天前 via Android
    直接检测生成的图
    IDAEngine
        5
    IDAEngine  
       275 天前
    直接检测 prompt ,屏蔽掉所有敏感字,只允许输入中文绘画
    letitbesqzr
        6
    letitbesqzr  
       275 天前
    很多云厂家都有图片鉴黄服务,把生成好的图片先给这些服务过一遍,没问题再展示。
    panxi
        7
    panxi  
       275 天前
    兄弟,这么跟你说吧,出了敏感问题跟阿里腾讯华为这样的公司还能谈,罚酒三杯了事。对你, 对接的就是国家暴力机器
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2226 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 02:25 · PVG 10:25 · LAX 19:25 · JFK 22:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.