这是一个创建于 1992 天前的主题,其中的信息可能已经有所发展或是发生改变。
请问一下大家,scrapy 的报告中显示:received_count 69941, scraped_count 66392, 那中间的差异数 3000 多条是什么原因,
是不是一些网页上的杂七杂八的不重要的其他的数据,
还是真实的我要抓取的数据,但没有抓取到?但是我 scrapy 并没有报错呀。。
谢谢。。
另外,大家用 scrapy 采集写入 Mysql 的时候,都用 twisted 吗?
会不会是因为我没有使用 twisted 的原因,导致一些数据采集了,但来不及插入数据库?