这是一个创建于 454 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近有一个很折腾人的需求。由于推送过来的原始数据里缺少客户需要的字段，所以就产生了一个需求，需要根据一段工单内容，识别涉及的区域、街道、所属社区。我开发又优化了几版，都达不到客户想要的效果。工单的内容因为是人编写的、无规则的，所以就不知道会在哪里产生地址信息：
例 1：自己是新吴区鸿山街道鸿*苑六二期 xxx 号 xxxx(隐私处理)的住户，想在屋面里面修葺两个小房间，目前就修了一个门框，xx 就直接来拆掉了，但是其他人家都造好了，都已经住进去了，都没有拆。服务对象表示自己家这里有留消防通道，其他人家都没有留。服务对象表示鸿*苑六二期 xxxxxx 号楼十八层的业主（无法具体提供信息，但表示这些楼栋 xxxxx 、xxxx 室都存在该情况），已经造好通水电入住，自己认为处理部门应该一视同仁对待。
例 2：服务对象来电反映目前通*新村 1 号附近有两条流浪狗将自己车辆的保险杠咬坏，拨打 110 反映表示需要 xx 协助 xx 流浪狗。
例子是这样的，地址信息可能随时出现在内容中，有可能会直接有区、街道、社区信息，也可能仅仅只有一个地点（如例 2 ），需要识别出具体地点，再反编地理信息获取所属区、街道、社区。所以就整的很困难。我目前是这样处理的：
先直接查所有的区、街道、社区信息，到工单内容中循环比对匹配是否包含，抓出来明显提到的区、街道、社区（例 1 类似的内容）。如果像例 2 那样内容只提到了一个地点，我的处理是，获取了一批城市的所有 POI 点位（总数几十 w 条，太多了），然后把小区、商场综合体、个体店铺、城市基础设施等一些基础的城市地理 POI 点位去和内容比对 POI 名称是否在内容中包含，但是效果就是识别比对的成功率很低，不知道有没有啥好的解决办法，还是基本上就是无法实现的需求。想向大神门求助！
例 1：自己是新吴区鸿山街道鸿*苑六二期 xxx 号 xxxx(隐私处理)的住户，想在屋面里面修葺两个小房间，目前就修了一个门框，xx 就直接来拆掉了，但是其他人家都造好了，都已经住进去了，都没有拆。服务对象表示自己家这里有留消防通道，其他人家都没有留。服务对象表示鸿*苑六二期 xxxxxx 号楼十八层的业主（无法具体提供信息，但表示这些楼栋 xxxxx 、xxxx 室都存在该情况），已经造好通水电入住，自己认为处理部门应该一视同仁对待。
例 2：服务对象来电反映目前通*新村 1 号附近有两条流浪狗将自己车辆的保险杠咬坏，拨打 110 反映表示需要 xx 协助 xx 流浪狗。
例子是这样的，地址信息可能随时出现在内容中，有可能会直接有区、街道、社区信息，也可能仅仅只有一个地点（如例 2 ），需要识别出具体地点，再反编地理信息获取所属区、街道、社区。所以就整的很困难。我目前是这样处理的：
先直接查所有的区、街道、社区信息，到工单内容中循环比对匹配是否包含，抓出来明显提到的区、街道、社区（例 1 类似的内容）。如果像例 2 那样内容只提到了一个地点，我的处理是，获取了一批城市的所有 POI 点位（总数几十 w 条，太多了），然后把小区、商场综合体、个体店铺、城市基础设施等一些基础的城市地理 POI 点位去和内容比对 POI 名称是否在内容中包含，但是效果就是识别比对的成功率很低，不知道有没有啥好的解决办法，还是基本上就是无法实现的需求。想向大神门求助！
第 1 条附言 · 2023-09-25 11:55:10 +08:00
真的很感谢帖子里各位大佬们提出的建议，这个需求我已经磨了一个多月了，你们敢想象，这个功能所属的项目，才几 w 块。如果说对接 chatgtp 高德 百度这些三方厂家，那钱怕是只能让我自己掏了。其实本身过来咨询各位的意见，是想了解能否仅仅通过我自己去设计、实现这些功能，但是看起来，很难很难。讲真，别碰 zf 项目，一群领导总想教人去做功能，在他们看来，这就是一简单的识别，“为什么这个单子里提到了 xx 小区，你们识别不到呢”，“你们能不能做到它提了某个小区，就可以抓取到他”，“这个识别率怎么那么低”...听了太多，累了... 不忍心去和各位说这样那样的方案不行，我自己可以去继续琢磨琢磨实现，但是用在这个项目上，它不配。再次谢谢各位啦！我一条一条都会好好看的。后续准备去提实现不了，找原数据提供方重新对接吧，做不到就做不到了。
 |
101
wangmou 2023-09-26 15:22:16 +08:00
@lscho 钱不够弄模型就只能堆数据，前几天同学他们给 xx 电力做的东西就是这么干的，把所有电站的名字全喂进去，也不用识别了
|
 |
102
teddy2725 2023-09-26 15:41:25 +08:00
NER 任务的嘛，搞个开源模型搞点数据训练试试效果，弄个最好的交差把
类似这种: https://huggingface.co/dslim/bert-base-NER |
 |
103
unco020511 2023-09-26 15:49:54 +08:00
这种问题 GPT 类的是最合适的,国内也有不少大模型可以使用
|
 |
104
haxi 2023-09-26 16:11:51 +08:00
就连阿里，顺丰，这些大厂靠物流起家的，训练出来的 NLP 模型都无法准确识别的，就不要白费力气了，没有资金就随便用 jieba 训练一个模型用用，有资金和准确性要求就调阿里的 API
|
 |
105
angry41 2023-09-26 16:30:26 +08:00  1
找实习大学牲
|
 |
106
NoOneNoBody 2023-09-26 16:39:23 +08:00
如果有个地名数据库（粒度为小区或街），识别难度不大（一般文字匹配算法即可），难在数据库会变，维护不易
如果没有数据库，纯语义识别，那就离不开 AI 了 中文地址还好，从大到小，英文地址从小到大更难搞 |
 |
107
eddiechow 2023-09-26 18:01:42 +08:00 1
有么有可能跟领导沟通，从源头解决这个事情，按说完全不想人工介入维护的话，那就让工单系统推结构化的数据到数据中心，因为如果从纯文本里面去识别抓去这个信息，不管用什么算法，什么方案，识别率永远都到不了 100%，那必定存在需要人工审核的场景；当然，也能理解接政府项目有些时候限制是挺多的，如果还没有试过这种途径的话，要不试试看？祝项目顺利🙏
|
 |
108
season8 2023-09-26 18:01:45 +08:00
@SZhan #94 你说的有道理，分词不是万能的，太依赖词库了，详细地点格式并不确定，尤其是涉及到英文和数字的时候，分词更不理想，我觉得可能还得上机器学习
 |
 |
109
maotao456 2023-09-26 18:30:45 +08:00
巧了，我也做了一个类似需求。 从小票里面提取出店铺名称、商品、金额、收件人等信息
一开始的思路是，OCR -> 正则匹配 可是后来发现每家店的小票格式都不同，难以预料未来还有什么格式。 代码没法写。 然后，刚好文心一言 Api 可以用了。 那就 OCR -> 文心一言。 搞定下班 |
 |
110
SZhan OP @eddiechow 感谢暖心的回复
 对的，最好的方式一定是在源头，这个问题也一直在跟客户提，让他们去协调的。可能是数据提供方并不够重视吧，然后客户就以时间紧的理由再丢给我们，让机器去自动识别😰如您所期，会顺利的，谢谢！ |
 |
111
aigonna 2023-09-26 20:15:41 +08:00 via iPhone
用 uie ，github 搜一下就好了。 你的文本其实很规则，抽取的是地址小区街道这种，自己标个几百条数据。训练下 uie ，如果没 gpu 就用 uie tiny 。
|
 |
112
skiy 2023-09-26 20:20:04 +08:00
|
 |
113
zcfnc 2023-09-27 00:01:20 +08:00
几年之前做过一个和楼主基本 90%相似的需求，不过是用 nlp 的方式实现的，楼主要是还没找到解决方法我可以找找之前的方案
|
Select Language