公司要全自动采集各个部门的销售数据，并且需要汇总自动生成每个人的销售数据报表（详细到各个 sku ），使用 python 是否可行？现在是否有工具可以直接使用？数据遍布各个电商平台，淘宝、京东、小红书、抖音、得物等等。
 |
1
gaobh 15 天前
找个能接这些的第三方的 erp 平台就完事了呗
|
 |
2
humbass 15 天前 via Android
要全自动，起码得各个电商后台可以提供接口，如果没有接口，大概率只能通过前端页面采集形式了。
|
 |
3
daniel8642 15 天前
关键不是用什么语言，大多数语言都能做这件事。关键看你如何抓取数据，商家平台有没有开放统计用的 API ，展示数据是用网页还是生成图片推送飞书。
|
 |
4
x86 15 天前
八爪鱼，后羿采集之类，影刀 RPA 之类
|
 |
7
KingZZZZ 15 天前
python 肯定行，这个是爬虫主流的语言，但是能否可行不在于语言的问题，在于是否有处理反爬的能力，这个是关键。
|
 |
8
liaohongxing 15 天前
前端采集没有意义，比如抖音做了反爬虫，速率限制 ，访问过于频繁直接没数据 ，其 api 还有算法带加密 header, 算法隔断时间就变，你破解起来麻烦又不持久还可能犯法。每次换算法破解这段空档你的数据都没有，统计就没有意义
|
 |
9
zsk425 15 天前
飞书多维表格就行，可以看今年的宣传视频
|
 |
10
911061873 15 天前
强烈推荐影刀 RPA ，我在影刀上班，摸着良心说我们产品还是不错的。
使用门槛低，一般减单的网页数据获取业务人员自己就能完成。 比较通用的场景我们还有官方应用可以直接使用。 |
 |
11
cowcomic 15 天前
这些数据是电商后台的数据还是商品页的？
这些电商后台通常都提供接口，看看文档访问接口就行 商品页的话就比较困难了，这些电商都做了反爬虫，不是专业做这种数据采集的公司很难弄的，特别是有些只有 APP 端就更难弄了，这部分就建议直接找专门做这种数据采集的公司 我上一家公司就是做互联网数据采集的，可惜今年刚倒，不然就推荐你了 |
 |
12
woshivu 15 天前
爬很简单，主要是风控，我还是建议找专业的数据采集公司
|
 |
14
woody3rd 15 天前
得有开放接口吧
|
 |
15
superliy 15 天前
@liaohongxing 一天一次 或者两天一次通过页面解析，应该没问题吧
|
 |
16
korvin 15 天前
从哪里采集？如果现有有系统里采集那就开接口/脚本抓取统一汇总，用 python 可以的。如果是没有现有系统记录这些数据，那直接用飞书即可。
|
 |
17
jiezaichan 15 天前
这不就是我正在做的事情~目前是每天自己的电脑 automa 做的。后面打算上影刀 rpa
|
 |
18
flame666 15 天前
这种所谓采集，其中采集的技术部分是最简单的，最麻烦的是数据本身
|
 |
19
Chicagoake 15 天前
@911061873 这个相对来讲确实简单不少，没啥门槛。
|
 |
20
op351 15 天前
RPA+1
可以用 RPA 先把每个平台的数据脚本都做一遍 然后每个人电脑上自己点一下运行 数据收集的话 可以把 RPA 脚本的最后数据写入的那一步写到内部服务器的公共盘上 然后服务器从公共盘把每天数据读取，汇总 现在 RPA 大多个人使用免费 这种策略也能 0 成本试错 如果后期需要远程下发脚本 统一控制之类的功能可以考虑买 RPA 厂商的商业版 |
 |
21
xizh007 15 天前
走爬虫那可就遭老罪了，主要是风控人机验证，然后无尽的 debug 。去找找官方 API 吧，淘宝京东都是又开放 API 的
|
 |
22
la2la 15 天前
可以的
|
 |
24
php01 15 天前
你们老板纯粹闲得慌，为了技术而技术，或者看不惯技术部门，觉得你们闲，要利用起来。
就比如这个统计数据，既然是自己公司的部门，为什么不能让他们每个人自己提交销售数据，你只做统计报表？还需要你自己去爬？你们技术部没人觉得这个需求有问题吗？ |
 |
25
adgfr32 15 天前 via Android
不能一开始就陷入细节，先思考如果这些事情是自己人肉去做，是能做到的吗？如果这一个提问的回答都是否定，那没必要做，爬虫不是为了解决问题而是提高效率。
如果人肉能做那爬虫理论上就可以(成本高低)，继续分析这个流程中最难实现的点，比如: 没有直接数据需要对视屏做识别，反爬风控严重，自动化成本(手机，账号，代理)如果有哪一项成本巨高，就要权衡一下。 至于 python ，他仅仅是让你写代码的时候方便一些，考虑的优先级最低。 |
 |
26
loopinfor 15 天前
如果不是实时数据的话，其实不需要采集吧，直接导出各个销售端的订单表就可以。
只要另外维护一套销售业绩与销售员工的对应系统就好了。 |
 |
27
datocp 15 天前
搞销售连 ERP 都没有，就要做数据分析了。。。
之前有帆软吧，但这种老板不知道它的价值，也没实施。 现在用着一套不伦不类的 ERP ，自己就瞎分析了。。。 |
 |
28
isnullstring 15 天前
影刀
易上手做，见效快，成熟的产品都满足不了，就只能自己开发 |
 |
29
silencegg 15 天前
为啥讨论语言，不是讨论库吗，playwright , selenium ,
|
 |
30
Warma 15 天前
小白还是用 rpa 容易上手一点，影刀就不错
|
 |
31
inktiger 14 天前
不是语言的问题，当然 python 用作爬虫可谓是如鱼得水，主要还是看业务需求，和公司人员用什么语言最溜
|
Select Language