昨夜刚撸完一个微信公众号爬虫的网站，欢迎提出意见

[iewgnaw]

http://weiread.pw/

每天定时抓取公众号文章，提供订阅阅读，另外还可以生成kindle杂志定时推送。

css和js现学现用的，写的比较渣；欢迎提出使用意见

抱歉，才发现微博登录还要提交审核，否则除了自己的账号其他的无法登录。
我晚上回去再提交审核一下吧

[tjxiter]

做个网站，一个月多少钱啊？

[yanwen]

不错。。赞一个。。

[typcn]

Error code: DNS_PROBE_FINISHED_NXDOMAIN

[lzxgh621]

图片全挂，要不缓存一下，成本太高。。。

[crabhit]

这数据是怎么爬下来的

[iewgnaw]

@tjxiter 什么一个月多少钱？

[likid]

点击订阅没反映。

另，搜索可以用 搜狗的微信搜索。
其实可以不用放自己服务器上，只需要做一个简单的转换，把搜狗搜索的内容扒过来即可。也不需要定时抓取。

[iewgnaw]

@typcn 可能是pw后缀的域名 有的地方不能解析吧，当时没考虑这个问题

[Hiufan]

用python写的？

[likid]

给我接口，帮你鲁一个 iOS 的 App

[iewgnaw]

@likid 登录之后才能订阅的。点击订阅不是跳转到登录界面？
内容是根据搜狗抓取来的，不爬图片服务器压力也不大的

[xmy2232867]

搞个这个要用到哪些技术啊？

[xianglong1025]

请问楼主，数据是怎么抓取的？

[iewgnaw]

@lzxgh621 你那边看不到图片？部分放qiniu上的，其他都是外链微信的

[iewgnaw]

@Hiufan 是的，django框架

[dddd]

以前看到过一个传送门……
http://chuansong.me/

…………

[likid]

@iewgnaw 没有跳到登录界面。

[likid]

@iewgnaw 刚才试了一下，又可以了

[iewgnaw]

@dddd 是的，开始我也是用传送门的；我一开始的目的是为了抓取推送到kindle的，后来还是顺带用django写了阅读功能

[jaytags]

@iewgnaw
lz速度还不错哦。 主机哪里买的呢？
qiniu 的存储怎么变成这样的clouddn.com域名呢？

[iewgnaw]

@xmy2232867
django 框架， python主要用request bs4 gevent


@wuxianglong
搜狗有微信搜索功能，可以抓取url, 再抓取内容

[lizhijun]

lz可以看看这个 界面好看多了

http://wx.91toutiao.com/

[veau]

@iewgnaw ，sogou的微信搜索，抓取频率高了不是会被干么。

[kiritoalex]

不错，做得挺赞的！

[unixbeta]

来源吧

[linsk]

@jaytags leancloud

[iewgnaw]

@jaytags 两个办瓦工的vps, 凑合还可以用
我用qiniu 默认给的域名，好像是可以自定义

[alexkh]

win8，感觉文章字体有点虚

[iewgnaw]

@veau 开始也碰到过这个问题，后来实现一个代理池，基本解决了被干的问题。
不过请求频率低一点，尽量伪造真实的浏览器行为能减少被干的可能

[declanVox]

能帮抓下人人公众平台的这个账号（历史就是重口味）吗？我想把他变成RSS订阅（人人公众号在PC端不让看，只能上移动端）

链接如下
http://public.renren.com/blog/630002445/944051120

[puyo]

和传送门（http://chuansong.me/）差不多？

[puyo]

可以定于很赞啊，但是“weibo login failed”

[wormcy]

同好奇 数据是从哪爬的

[Jning]

不错，赞

[exceloo]

搜狗又是怎么抓的，好奇

[tearsinchina]

请问有提交的地方吗？

[iewgnaw]

@puyo MD微博登录还要新浪审核？好像是这个问题，之前一直用自己的账号登录，没有问题。哎，晚上回去再弄一下吧。可以订阅阅读，推送到kindle


@tearsinchina 左下角有个“添加公众号”的按钮；添加之后，并不会立即抓取文章列表

[shajiquan]

看起来很酷。但是用微博登录后显示：weibo login failed。

[zhoupengfei]

@exceloo 搜狗微信不是一家吗

[Crossin]

楼主是如何找到新文章的？一直没找到这个来源

[BloodyGhoul]

可以提交自己想要的公众号么？

[jon]

不错做这个要会什么，学多久？

[endosome]

可以给出rss 链接么？

[zangbob]

楼主已经说了，不能微博登录，所以没法测试添加rss。。。

希望楼主能继续努力，超越那个chuansongme。。。。那个烂网站太恶心了

[wanghanlin]

@crabhit @Crossin @wormcy 搜狗有微信搜索 http://weixin.sogou.com/

[babyname]

搜狗是腾讯给的API
第三方抓，抓取某个公众号的文章，通过历史消息页面。

[Lucups]

@lzxgh621 不是全挂，我开始也以为是的，要滚动一下页面，才会加载图片。。。bug @iewgnaw

[ericls]

真羡慕你们这些会设计界面的！！

[iewgnaw]

@Crossin 查看搜狗微信搜索的请求地址啊
@BloodyGhoul 可以添加的，走下角有个按钮的。但不是立即抓取所有内容。

@jon 会前端的话很快的吧，我主要是不会前端，现学现做的，真是吐血啊

@Lucups 哪个页面滚动才加载图片的？文章的阅读页面是等图片到达可视区才加载的，其他的都是直接加载的

@ericls 现学现做，再抄抄别人的界面

[Alecio]

天。。这几天我也正在做一个类似的东西，没想到LZ已经做好了。。
后台转mobi格式用的是calibre还是Kindlegen？

[maye696]

这个好东西，能订阅feedly就太好了

[vivisidea]

不错啊，但这样会有版权问题么。。

[Lucups]

@iewgnaw 不知道是不是你的 jquery.unveil 有问题

[Lucups]

难道是因为我用 21寸屏幕看的原因？

[SuperSquirrel]

很不错，喜欢这样的界面

[huigeer]

界面不错哦，默默赞一个

[tjxiter]

@iewgnaw 做网站，买域名一个月多少钱？ 不过查了下，你那个域名是免费的

[shiny]

@iewgnaw 搜狗抓取有频率限制，你有没有做突破限制的处理？

[hanyun]

不错噢！之前有看过传送门～ @shiny 同问搜狗的抓取频率限制怎么处理？

[iewgnaw]

@Alecio 这么巧啊。用的kindlegen的，calibre有命令行的方式？
@vivisidea 细究的话肯定有的，但这种网站不会有什么大的影响，应该没人追究吧
@Lucups 应该是那个js有些问题。我再改改看

[iewgnaw]

@tjxiter 不是免费的，一年也就几十块

@shiny
@hanyun
实现了一个代理池的功能，保证每次请求都是代理池中的ip

[ljcarsenal]

大家都热衷爬微信的文章，哈哈。。。一个月之前做了个 http://www.fxbiao.net/ ，不过界面不是我写的

[fuermosi777]

可以看看我做的iOS app 也是用python爬的 不过目前公众号只有120多个 https://itunes.apple.com/us/app/xue-sheng-ri-bao-hui-ju-zui/id954164794?mt=8

[flash866]

楼主能分享下原理吗？

[Juntle]

很赞哦！

[ATiGr]

非常好用！期待信息更加完全！感觉比手机看方便太多啊！

[imlewc]

@crabhit http://weixin.sogou.com/gzh?openid=oIWsFt8OJTKAwm96dRj2BzJ1VKOo 看到这个你就知道了，小编也做了个 http://haha.iczerd.com/，现在这种好多

[imlewc]

@shiny 何必那么频繁，定时就够了

[imlewc]

@dddd 这个还行 量还是有的

[imlewc]

@vivisidea 在中国是不太用考虑这个问题的

[imlewc]

@fuermosi777 点个赞

[vivisidea]

@tjxiter pw域名不免费，但相对比较便宜，namecheap上最近注册了一个 lib64.pw 首年才24块RMB，续费好像是 50RMB/year

估计这类域名对搜索引擎不是很友好，可能内容比较难被收录

[tjxiter]

@vivisidea 看来一分钱一分货是永恒的真理。

要是搞个个人博客买什么域名比较好呀？

[ivlucks]

@yanwen 谢谢

[vivisidea]

@tjxiter 不造啊。。个人博客写着写着就写不下去了，我还有一个 info 域名收录情况貌似还好

去google 的 webmaster tool 提交索引请求
提交 sitemap.xml
优化页面的 title，keywords

这些基本的对搜索引擎友好的事情要做

当然最重要还是文章质量要高

[rico93]

kindle的订阅发送时怎么实现的

[dellch]

@fuermosi777 请问是原生应用么？

[fuermosi777]

@dellch 是的 文章页面用的webview

[Crossin]

@iewgnaw @wanghanlin 嗯，那么问题来了：他这里是通过什么发现文章更新并抓取的呢？
虽然从实现上来说，有一个地方能给到最新数据已经可以了，但没想通这个问题。官方公开渠道是没找到。
有想到过，通过微信关注一堆公众号，然后想办法模拟这个微信号的登录，拿到收到的公众号文章列表。

[misctalk]

文章抓取是怎么实现的啊？
有没有开源实现可以学习？

谢谢了

[muzixinly]

@iewgnaw 代理池用的哪个呢？

[wenfan]

我也一直有个项目 需要找到 key 和 pass_ticket ， pass_ticket 已经基本解决了，还需要 key ！ 如果有人会解决 可以有偿！！！ wechat 微信： 23511839.......跪求

[haoning747]

微信我算是放弃了，直接爬不可以，用斯库林模拟点击也不可以，所以，大家还不不要再搞了，我还是玩我的网盘吧： http://www.quzhuanpan.com

[wjx1993]

@likid 搜狗的微信公众号文章是有时效的吧！