职位描述 1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作; 2、负责网页信息和 APP 数据抽取、清洗、消重等工作,提升平台的抓取效率; 3、参与爬虫核心算法和策略优化,熟悉采集系统的调度策略; 4、实时监控爬虫的进度和警报反馈。
职位要求 1、有扎实的算法和数据结构能力; 2、熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先; 3、掌握 http 协议,熟悉 html、dom、xpath 等常见的数据抽取技术; 4、有大规模数据处理、数据挖掘、信息提取等经验者优先。
联系方式 E-mail: [email protected] wx imissumandy 联系电话:85254173
方向:广告投放监测,所属部门:商业产品客户增长业务线,级别:后端研发负责人,待遇:30-80w,团队规模 40 人,加入后先不带人,表现好有机会带,工作地点:北京知春路,年龄限制:不能高于 35 岁