This topic created in 631 days ago, the information mentioned may be changed or developed.
我是做 java 的，好多年前用 java 做过爬虫。最近朋友让帮忙面试几个高级 Python 爬虫工程师，主要是从 0 搭建数据采集系统，主要是抓取一些新闻时事、自媒体网站的数据。
关于 Python ，我的水平仅限于能写一些简单的脚本和 flask 服务。了解了下现在 Python 爬虫这块儿主要是 scrapy ，打算趁着周末写几个小 demo 熟悉一下。
针对面试点，我自己结合自己的经验，打算围绕分布式爬虫系统的搭建、核心模块、反爬机制的策略、监控和预警这些。Python 这块儿朋友这边负责面试。
请教一下大家，除了我准备的这些点，还有哪些地方需要问一下的。或者说我准备的内容有不合适的地方也请大家指正一下。
11 replies • 2024-08-27 18:58:30 +08:00
 |
|
2
Cooky Aug 25, 2024
爬虫就是个糟心的活，专门干这个职位不划算
|
 |
|
3
lucasj Aug 25, 2024
问计算机基础、编程修养、软件开发流程之类的就可以。你 java 问什么 python 啊，现学现用，怕不是给人看笑话。
|
 |
|
4
freemoon Aug 25, 2024
你一个 python 初级+爬虫初级，你说怎么面 python 高级爬虫？高级爬虫爬的也是 app 了，这些你也不懂，没法面。。
|
 |
|
5
naythefirst01 Aug 25, 2024
现在爬虫重点先是反爬吧 然后是分布式这些正向开发能力，基本上都是先问有没有 XX 厂的商业产品逆向分析经验，如果不是大厂的话可以直接问他们的业务方向，有电商、社交平台、金融、AI ，“投其所好”就差不多了
|
 |
|
6
yoyo12 Aug 25, 2024
爬了哪些网站，用了什么技术，能不能自动化。
|
 |
|
7
chi1st Aug 26, 2024
主要看岗位是主工程能力还是主逆向能力，工程能力就正常后端那些东西，逆向的话估计你也不太懂。。。
|
 |
|
8
ik Aug 26, 2024 via iPhone
没进去过的都不行，让对方在简历中附上改造经历🐶
|
 |
|
10
brianinzz Aug 26, 2024
说实话有点难而且你如果不懂很容易忽悠你
核心需要问的就是逆向能力 基本包括 加密算法逆向+过验证码
根据目标网站不同 加密算法也都不一样 验证码主流的也很多 顶象 极验 阿里 每个都有自己的特点
你没有上手做过你很难知道他是真的做过还是看一些文章忽悠你。
我觉得如果没有利益相关还是不要“帮”朋友做 找专业的人来吧
或者 业务很确定的情况下 你自己取爬一下这几个目标网站 看看有什么问题 跟面试问题结合结合
|
 |
|
11
aisk Aug 27, 2024
问问有什么对抗反爬虫的经验
|
Select Language