想了解一下像 1688、淘宝、京东、PDD 如何抓取店铺或者商品信息

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1458 天前的主题，其中的信息可能已经有所发展或是发生改变。

有没有绕过反扒机制的办法？一些电商 ERP 一般是怎么做的？

反扒

ERP

pdd

店铺

7 条回复 • 2021-01-06 10:53:35 +08:00

wangbenjun5

2020-12-30 11:49:42 +08:00

电商是爬虫和反扒重点攻防领域，爬虫写的好，牢饭吃的饱

Light3

2020-12-30 11:50:49 +08:00

建议通过正常途径
如申请淘宝客这种方式来正确使用 api
而不是吃牢饭

lithiumii

2020-12-30 11:53:36 +08:00 via Android

建议百度搜，然后点百度推荐的广告进去买服务，让别人做吃牢饭的工作

czfy

2020-12-30 12:11:00 +08:00

1. 电商是被爬和反爬的重点阵地，理论上你在这里不会问到什么有价值的回答，因为做这方面爬虫的每天拿着工资在琢磨这件事，免费分享出来被电商平台方看到后升级反爬手段，是自己找死

2. 拼多多的爬虫目前好像还没听说过有成功的，如果有，我确实也有兴趣了解一下最后成型的解决方案供应商（不是代码 /原理）

natashahollyz

2020-12-30 12:17:52 +08:00

每天一个（表面上））免费吃饭技巧

FelixZ88

2020-12-30 19:04:18 +08:00

@Light3 申请淘宝客可以抓取某一页、某一整个店铺、某一个类目的所有产品信息吗？

huyu

2021-01-06 10:53:35 +08:00 via Android

京东反爬是难度最低，淘宝要登录(要帐号)，1688 帐爬慢点还行，美团和 pdd 难度很大，做爬虫很苦逼的，建议转行