V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Jaymiii
V2EX  ›  Python

请教各位大大,有意向往爬虫工程师发展,需要具备哪些基本素质可找到初级工程师的工作?

  •  
  •   Jaymiii ·
    Jaymiii · 2018-03-08 21:31:15 +08:00 · 3698 次点击
    这是一个创建于 2452 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我是一个非科班转行人员,目前在学习 python 爬虫,很迷茫要学到什么样的程度才能够得到一个入行工作的机会。毕竟没有经验,非科班,需要更多的努力和知识储备,否则很难获得机会。想要得到大家的指导,谢谢了!

    8 条回复    2018-03-12 11:59:14 +08:00
    noe132
        1
    noe132  
       2018-03-09 06:54:23 +08:00 via Android   ❤️ 1
    爬虫可复杂了。。。
    爬取返爬速度限制多线程分布式异常处理 api 分析
    爬完了还会叫你数据清洗数据挖掘统计报表。。。。
    我搞过一阵子头都晕了
    qs
        2
    qs  
       2018-03-09 09:17:30 +08:00   ❤️ 1
    fiddle, charles, chrome 这些抓包工具分析请求, 然后模拟请求去抓取数据, html 等解析提取数据, 然后保存到文件或数据库。

    至于分布式 多线程 协程 调度控制 统计报表这些都是后期可以慢慢学习的内容。
    pc10201
        3
    pc10201  
       2018-03-09 18:41:07 +08:00   ❤️ 1
    别做爬虫,职位少,上升空间有限~
    Jaymiii
        4
    Jaymiii  
    OP
       2018-03-10 13:31:03 +08:00
    @pc10201 您有什么更好的方向推荐吗?感觉目前 python 来说做 web 和爬虫是比较易于学习的,往数据分析这方面的对于非科班的来说感觉有点迷茫。
    Ehco1996
        5
    Ehco1996  
       2018-03-10 20:37:04 +08:00 via iPhone
    我也是文科自学编程的
    一开始也是通过学爬虫入门

    这里有我整理的学习路径和资料
    有需要可以看一下
    http://zhuanlan.zhihu.com/Ehco-python

    但是我现在主要做后端方面的工作啦

    加油吧
    Jaymiii
        6
    Jaymiii  
    OP
       2018-03-11 19:10:58 +08:00
    @Ehco1996 谢谢你的帮助!我也会努力向你看齐的!
    hotea
        7
    hotea  
       2018-03-11 21:50:52 +08:00
    前几年刚找工作时,也是找的爬虫工作,知道创宇这道爬虫题出的很不错,你可以试着自己实现一下。http://blog.knownsec.com/2012/02/knownsec-recruitment/
    Jaymiii
        8
    Jaymiii  
    OP
       2018-03-12 11:59:14 +08:00
    @hotea 谢谢你的分享,我去试试实现一下!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2814 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 14:33 · PVG 22:33 · LAX 06:33 · JFK 09:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.