V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bigbear2046
V2EX  ›  上海

找 LLM 或 AI 职业或业余玩家一起折腾个商业项目

  •  
  •   bigbear2046 · 96 天前 · 2047 次点击
    这是一个创建于 96 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我关注 AI 的发展也有段时间了,一直在考虑做个 AI 应用但同时担心其会被 AI 自身的发展所取代 反复权衡,考虑定位是:做个靠谱的 AI 律师 有折腾 LLM ,AI 的朋友有兴趣交流的话, 我们的主页:atitlab.carrd.co wx:b25lMTkxOTU0

    第 1 条附言  ·  96 天前
    期待大家更多关于 LLM 落地实现路径的讨论和实践
    27 条回复    2024-01-21 20:16:00 +08:00
    imes
        1
    imes  
       96 天前 via Android
    最近几个月已经在 v2 看到很多次要自己做 llm 的,都不知道这是个劳动密集型产业吗?能给每个人拿出 8 张 a100 卡吗?能搞到足够多的法律文书吗?能找到律师给数据做 label 吗?技术细节多一点的:用什么架构?自己写 transformer 还是用 llama2 ?谁能判断 llm 输出的质量?
    laipidov
        2
    laipidov  
       96 天前
    @imes 这个不一定是要动模型参数的,法律领域也有很多办法解决数据问题:1.法考答案 2.裁判文书(以前的留存应该有的) 3.gpt4 生成(稍微花点钱) 只是知识注入和 ai agent 这块的话,有推理模型用的卡即可(显存 40-80g )

    我觉得真正难的,是把现实中的工作拆解成 llm 可以完成的形式,因为现实世界中很多问题,仅通过和 llm 的一问一答是无法解决的,需要把问题拆解出来,形成一套 work flow 然后每一环通过 llm 去解决,最终串联起来,这个是我认为最有价值,也是最体现行业经验+llm 结合的地方。

    而单纯的优化 llm ,解决其幻觉、条理等问题,或者做做 sft dpo 之类的,其实开源的模型如 qwen 、mixtral 已经可以做的不错了,就算是动参数,用 qlora 的方式也可以低资源训练,这块顶多是慢点,但是 2-4 张 a100 足以支撑很多试验了。

    所以核心还是如何把行业里的经验和 llm 更好的结合,去解决更加复杂(一问一答解决不了的)的问题,单纯的优化参数和跑 benchmark ,你觉得你干的过大厂吗?
    laipidov
        3
    laipidov  
       96 天前
    持续观察楼主的项目,加油加油
    bigbear2046
        4
    bigbear2046  
    OP
       96 天前
    没想过要自己做 LLM ,这不是小玩家考虑的事,我们考虑的是怎么把业务流程标准化
    winglight2016
        5
    winglight2016  
       96 天前
    先说说自己能投入什么,只是个 idea ,我连打开链接的动机都没有
    bigbear2046
        6
    bigbear2046  
    OP
       96 天前
    @winglight2016 千万别累着自己去勉强打开了一个链接...
    bigbear2046
        7
    bigbear2046  
    OP
       96 天前
    @laipidov 法律其实有蛮多数据的,想从一个细分的法律领域诸如劳动法开始尝试,幻觉问题依然严重,目前还没考虑过自己训练模型,还是想先取巧走个 rag ,但是也在关注低参数可本地运行的 LLM
    timeance
        8
    timeance  
       96 天前
    持续观察楼主的项目,很棒的人类观察样本

    建议 OP 开头加一句“这是能改变世界的项目”,然后不用说那么多,丢个链接就好
    Leon1234567
        9
    Leon1234567  
       96 天前
    这种事情你在 v2 聊是扯淡的,直接花点小钱约几个律所合伙人(他们既知道自己愿意为什么花钱又知道打官司的人愿意为什么花钱)坐下来谈,看看能不能谈出付钱(哪怕有意愿)的东西才是正道。偏 B2B 的东西最怕就是自己和狐朋狗友琢磨各种“好思路”&“好想法”,因为这块最重要的既不是 idea 也不是现代技术落地,而是对方是不是觉得值得付钱。大部分行业连各方面自动化这种看似简单的事都做不到,因为对甲方来说,起码暂时尚无花钱的意向。
    laipidov
        10
    laipidov  
       96 天前
    @bigbear2046 实话说法律领域不是很看好,通用 llm 的大厂做垂域 llm ,首选的就是法律、金融、医疗,这三个行业足够大,数据足够多,落地场景丰富,你要是做法律很容易和大厂撞车,除非能满足律所的一些定制化需求,这个确实跟上面的老哥们说的一样,要去找律师坐下来谈谈。rag 的话,很多人都能做。
    TheWalkingDead
        11
    TheWalkingDead  
       96 天前
    “靠谱的 AI 律师”
    要是好做的话,早就有头部企业了,还能轮到 2024 年吗。
    Betsy
        12
    Betsy  
       96 天前 via iPhone
    chinaqzxh
        13
    chinaqzxh  
       96 天前 via Android
    建议你再细分下,这个方向太大了,你不懂法律,没有优势,做的人也比较多
    bigbear2046
        14
    bigbear2046  
    OP
       96 天前
    @timeance 为啥要用宏大来吸引人,阿拉只想做小
    bigbear2046
        15
    bigbear2046  
    OP
       96 天前
    @chinaqzxh 落地必然细分,不会做整部刑法,而是某个罪名
    bigbear2046
        16
    bigbear2046  
    OP
       96 天前
    @laipidov 只对 2C 感兴趣:)
    bigbear2046
        17
    bigbear2046  
    OP
       96 天前
    @Betsy 这是一个细分,国外法律和国内有很大不同,侧重点不太一样
    bigbear2046
        18
    bigbear2046  
    OP
       96 天前
    期待看到实现路径的讨论 ing
    monkeyk
        19
    monkeyk  
       96 天前
    AI 相关的落地商业化,做 2B 方向的依旧很困难;之前参加过钉钉的一个 AI 分享活动,他们总结的比较到位,主要有 2 点:
    1. AI 拉低了 DEMO 门槛,但提升了落地难度。
    2. 时灵时不灵,是当前落地最大的障碍。
    bigbear2046
        20
    bigbear2046  
    OP
       96 天前
    @TheWalkingDead 国外有很多细分法律 ai 独角兽了,这行是不会有头部企业一统江湖的
    bigbear2046
        21
    bigbear2046  
    OP
       96 天前
    @monkeyk 毕竟黑盒,但是调整到一个可接受的准确率即可
    DKingAlpha
        22
    DKingAlpha  
       95 天前 via Android
    AI 版的“只缺一个程序员了”
    xinshoushanglu
        23
    xinshoushanglu  
       95 天前
    想法是好的,但大概率做不到 能有足够理由 征服 各方的 质疑的 那种级别效果,并且最重要的你对这个行业没有多深的了解,技术倒是其次
    bigbear2046
        24
    bigbear2046  
    OP
       95 天前
    @xinshoushanglu 多少有点了解,告过别人,也被别人告过,民事刑事都有,个人和公司层面都浪费过不少律师费了...
    sandera
        25
    sandera  
       92 天前
    现在已经有了吧
    bigbear2046
        26
    bigbear2046  
    OP
       91 天前
    @sandera 这世上还怕多一个律师么:)
    sandera
        27
    sandera  
       85 天前
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2748 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 15:29 · PVG 23:29 · LAX 08:29 · JFK 11:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.