V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
utodea
V2EX  ›  程序员

血压计数值图片识别怎么实现?

  •  
  •   utodea · 173 天前 · 2333 次点击
    这是一个创建于 173 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需求背景:想做个 App 方便我妈记录血压、心跳,老人家懂基础拍照,但打字这些玩不顺溜。因此想着让她每次量完血压后拍个照片,App 自动识别血压和心跳计数,上传到服务端。

    1.尝试了几个大模型的图片聊天,给了非常清晰的照片,一问血压计数就没一个能行的,全是乱猜的。心跳则完全识别不出来了。
    2.尝试了百度的 OCR 图片识别服务,识别度完全就不能用。


    是否有大佬可以推荐质量好的图片识别服务(针对血压计的),或者有没有大佬推荐其他方案可以快速自己训练一个针对血压计的算法?
    第 1 条附言  ·  172 天前

    折腾了一会儿,最后用了 @musi 提到的方式实现了一个小 Demo,百度云 OCR + GPT 的方式。 缺点是不太稳定,GPT 提取血压和心跳有时候提取不出来,自己提取可能比较麻烦。

    附上几张效果图

    大佬提到的其他办法,我去探索一下,再次感谢大家的指点!

    36 条回复    2024-01-04 10:09:44 +08:00
    mxT52CRuqR6o5
        1
    mxT52CRuqR6o5  
       173 天前
    现在 chatgpt 的多模态就是简单的把不同能力的多个模型拼接起来,类似于训练出几个残疾人让他们协同干活
    google gemini 号称是原生多模态,相当于直接训练出一个健全人,不过 ultra 还没出,也不知道具体效果如何
    GooMS
        2
    GooMS  
       173 天前 via Android   ❤️ 1
    如果是记录,买个中档不是自带功能吗
    utodea
        3
    utodea  
    OP
       173 天前
    @GooMS 嗯,现在确实是有自动上传数据的血压计。但想到图片这种方式,看看有没有办法能实现出来。
    mingxulin
        4
    mingxulin  
       173 天前 via iPhone
    买个带数据记录功能且支持手机的血压计就可以了。
    koto
        5
    koto  
       173 天前
    买个高级的血压表就好了。
    hackerMu
        6
    hackerMu  
       173 天前
    买那种支持蓝牙的,直接同步手机 app 。不然还要拍照多麻烦
    yolee599
        7
    yolee599  
       173 天前
    很多血压计都可以自动发测量结果到子女微信了,直接买来用就行
    utodea
        8
    utodea  
    OP
       173 天前
    统一回复:其实是想看看图片识别这种方式,有没有办法能实现出来。

    元旦回家碰到这个问题的时候,第一反应就是上京东搜有没有联网款的。
    GooMS
        9
    GooMS  
       173 天前 via Android   ❤️ 2
    用 opencv 当成二维码识别去设计,字形也都是固定的
    GooMS
        10
    GooMS  
       173 天前 via Android
    说错了,验证码
    elboble
        11
    elboble  
       173 天前
    这个不用 ai 把,ocr 就行,你发张图来试试
    maomaosang
        12
    maomaosang  
       173 天前   ❤️ 1
    led 屏的话,百度 paddleocr 有个专门针对此种字体的模型,如果效果仍然不佳,也可以拿一些图片自行训练 paddleocr
    mightybruce
        13
    mightybruce  
       173 天前
    这个问题不需要大模型,大模型也不是用来解决这类计算机视觉的问题。
    ocr 一般是正面拍照的纸张上文字,在一些复杂环境下无法使用,这种其实是 scene text recognition,
    传统的 OCR 很多是机器学习的算法,在弱光、混合光线下非平整表面一些识别率不高,
    深度学习一些模型还可以。
    你发一个图片才能知道是什么样的场景。
    musi
        14
    musi  
       173 天前 via iPhone
    你得给个图,拍照的方式,光线会直接影响到准确度
    asmoker
        15
    asmoker  
       173 天前
    https://www.healthcapture.com.hk/

    感觉这个符合楼主需求啊
    lyxeno
        16
    lyxeno  
       173 天前
    其实可以试试京东京造的 手腕式血压计,样子是一个很胖的手表。支持蓝牙连接手机,测完会自动上传数据到 app
    😂我给家里买了一个,只要测量时姿势正确,数据就和血压计测出来的一样

    图片识别方式感觉很吃拍照角度
    utodea
        17
    utodea  
    OP
       173 天前
    @elboble @mightybruce @musi

    几张我测试用的图。感谢指点!




    utodea
        18
    utodea  
    OP
       173 天前
    @GooMS @maomaosang 我去研究下,感谢指点。

    @asmoker 👍🏻,我下个试试看。
    009694
        19
    009694  
       173 天前 via iPhone
    那你不如买个小米新出的血压计 可以自动从蓝牙网关上传数据到云端 更稳定
    musi
        20
    musi  
       173 天前   ❤️ 1
    用了第一张图使用了腾讯云的高精度 ocr ,返回的数据结果让 gpt 处理了一遍,得到以下结果:
    In summary:

    High Pressure: 120 mmHg
    Low Pressure: 75 mmHg
    Pulse: 86 beats per minute

    如果数字在图片中的位置差不多的话可以用程序筛选,就不用 gpt 了
    sadfQED2
        21
    sadfQED2  
       173 天前 via Android   ❤️ 4
    你这种图片不能直接丢给 ocr ,你得先做预处理,把边缘没用的全部去掉。最新图片要白底黑字,只有你需要的信息。

    你这种图非常好处理,你看下 opencv 的阈值二值化方法,给个阈值先把边框啥的找出来,然后再裁剪。

    如果你啥都不想干,只想直接要结果的话,看看 yolo ,直接喂数据,只有 10 个数字,标注个两三万张图片估计就能拟合得很好了
    EdmondGUO
        22
    EdmondGUO  
       173 天前   ❤️ 1
    对深度学习有了解的话,可以自己用 yolo 训练个模型,问题就是标注数据,通常需要上万的数据集标注
    https://github.com/ultralytics/yolov5
    vivcha
        23
    vivcha  
       173 天前 via Android
    让老妈把照图片发给自己🤣
    ticky1
        24
    ticky1  
       173 天前
    有个小程序叫健康拍,可以试一试
    faninx
        25
    faninx  
       173 天前
    这么精准的场景,要效果好不如自己训练一下
    dream7758522
        26
    dream7758522  
       173 天前 via Android
    自己人肉识别得了。
    redocxz
        27
    redocxz  
       173 天前
    多久量一次啊,你后台手动看下记录一下? 还能及时了解情况
    bluesenzhu
        28
    bluesenzhu  
       173 天前 via Android
    这个我擅长,以前做过水表电表燃气表之类的 LED 读数识别,需要自己写算法。
    aiqinxuancai
        29
    aiqinxuancai  
       173 天前
    这个问题不应该用技术解决
    aitianci
        30
    aitianci  
       173 天前
    我直接丢给 Bing chat ,识别的很好啊
    tangtang369
        32
    tangtang369  
       172 天前
    开源的 ocr 大概率不行
    从你发的图片来看这个大于 100 以后 百位和十位和个位隔的太远了
    sampeng
        33
    sampeng  
       172 天前
    折腾时间够买一个带云功能的血压计了。。
    utodea
        34
    utodea  
    OP
       172 天前
    @vivcha #23 @dream7758522 #26 好办法(狗头)

    @bluesenzhu #28 大佬有代码可以学习一下不?

    @aitianci 我去试下看看

    @elboble 膜拜大佬
    Sricecake
        35
    Sricecake  
       172 天前
    花 200 块钱找个大学生
    utodea
        36
    utodea  
    OP
       172 天前
    @Sricecake 哈哈。以前我帮别人写大作业的时候可没这么贵的!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5323 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 06:40 · PVG 14:40 · LAX 23:40 · JFK 02:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.