爬虫场景，数据抓取之后需要存储的数据库。
但是数据库不止有一种，有存储全文的 es，也有存储提取到数据关键内容的其他数据库等等。
这时候一个生产者（爬虫）就可以通过消息队列的订阅模式接入多个消费者（不同的数据库）
同时如果数据库挂掉，消息队列可以暂时起到存储的作用，等数据库恢复以后重新上数据。否则存储失败，抓取到的数据就丢失了，有些时候抓取需要一次成功。

@Shook ytb 的广告是可以 up 自行调节的，只要视频内容大于 10 分钟，就可以在自己喜欢的地方插入插播广告

😄同类的事情还有网站的 web 端和 app 端是两个团队，app 端同步 web 端的文章数据是靠爬虫 XD
不过高级一点的是 web 端发布文章后会推送消息给爬虫，然后爬虫启动
原因是因为本来是两家公司，然后 web 端和 app 端编辑后台不是互通的

@krixaar 没有关系，共建和谐社区 ~ XD

@zhyl 我当然知道咯，ua 、请求头、甚至直接 post 表单，你影响力再大一点这个 api 可以是直接为你造的不需要任何参数。不过你如果再阅读一下我的回复，就会发现怎么表明身份并不是重点，而是楼主或其他人并没有指出如何表明身份，因此才会有 68 楼的疑问。
我只是在说，68 楼提出疑问是有道理的。

回复 @krixaar 原帖：
>你把这两个 json 都给转回中文，你看看内容都是啥。
>你这个问题就是之前提到过的那种让人欲言又止的问题，你问出来了说明你要么没点开，要么点开了不知道\u 加几个数字是什么意思，前者让人难以回答，后者在 V 站显得格格不入……

回复：
仍然看不出这两个链接如何实现盈利的？
http://top.baidu.com/mobile_v2/buzz/hotspot
http://m.hao123.com/hao123_api/api/cpc/cms

（ 1 ）第一个链接是百度热点，里面是实时热搜返回，既没有 uid 之类的标记开发者，里面也不存在任何可以关联的链接。
（ 2 ）第二个链接在 url 上明显可以看出 cpc cms 这种营销联盟的关键词，但是仍然没有 uid 等字段关联。虽然链接返回的 json 里面的链接存在&st=111041 这个疑似联盟站点 id 的东西

不知道是不是楼主刻意把 url 后面的参数给隐藏了，但是没有指出这一点的情况下，如果这就是原始链接恐怕无法证明这是用于盈利的，至少无法证明谁能盈利。
因为既没有人指出 url 缺少了联盟 id，也没有说明这两种营销方式的其他关联方法，亦没有指出楼主可能省略了链接。至少根据原文给出的链接和 json 数据无法获知营销获利的机制。
所以 68 楼 @sunwang 的请教是有原因的。但是你的回复很不友善 : )

@Tink 可以直接用 fd 或者 charles 做中间人攻击，直接拿到所有请求的 body，写个规则过滤一下，直接拿到 json 数据不香吗

重点忘说了，chromedriver 也好，puppeteer 也好，甚至按键精灵也好，这些都逃不过微信号这一关的。

曾经的经验给你简单分享一下，有几个知识点需要知道：
（ 1 ）微信文章有两种链接，临时链接和永久链接。在微信里打开的是永久链接，在搜狗里面搜索出来的是临时链接
（ 2 ）顾名思义，临时链接有时间限制，一般超过 6 个小时就无法打开显示链接已过期。但是放到微信里点又可以打开，因为微信使用了 key 进行了链接转换。
（ 3 ）这个 key 又分为万能 key （解任何文章，与你的微信账号相关联，有效期 2 小时）和公众号 key （只对单一公众号有效，有效期 2 小时）。key 不仅可以转换链接，还可以用来打开列表页。
（ 4 ）一个微信账号的万能 key 使用频繁会导致封号（无法转换、浏览文章）
（ 5 ）自 19 年开始搜狗不再根据时间顺序返回搜索结果，导致无法通过“关键词”查找最新文章，且未登录账号只能看到前 100 页的数据
（ 6 ）搜狗搜索公众号显示最近 10 条文章（目前已经不显示数据了），也是临时链接
（ 7 ）搜狗搜索微信出现验证码非常频繁
（ 8 ）使用手机或 pc 客户端可以查看公众号列表页，但是 pc 端需要先关注才能看到。这里能做的抓取方案是中间人攻击，但是别忘了你是用自己的微信号做的，你要考虑怎么自动化控制刷页面，最重要的是你能撑几个小时不被封号？以及你有多少实例，能花大价钱购买养好的微信号呢？（新号权重非常低，浏览列表页的数量很少，如果只看不养号，很快就被封了）
（ 9 ）可能有人说，不就是 python 发个 requests 请求吗？我手机刷一下列表页，找到 url，request body，模拟一下不就好咯。关于这一点你可以去看（ 3 ）和（ 4 ）

最主要的成本来自于，需要真实有效的微信号和批量操作。

综合以上成本，你倒不如选择有腾讯做股东的公众号数据分析平台-新榜（不是做广告哈）去买数据....
当然，数据二道贩子有很多，也有很多个人在卖，都比自己去搞定要低成本的多（学习除外）

另外未经授权抓取数据并贩卖是违法行为！

应该是说的这个吧： https://zhuanlan.zhihu.com/p/285778671 [独立开发者因为广告拦截被优酷起诉 100 万元]

1k 活跃用户 169 一个月...
如何定义活跃用户呢？如果只是注册看看，就没有跟进的用户算不算活跃
如果算的话，就太贵了...

无图无真相

@JokerLiang 是的，简直没话说。ios 就是天然支持动画，强大

@JokerLiang 哈 刚才搜了一下 才发现你说的这个，看到了他的 logo，确实看了哈，是看他的视频入门的。是在 b 站看的，XD 我都不知道课程是 design&code，只知道是个很厉害的老外

@JokerLiang 并没有哈 这个 app 是边学 swiftui 边速成的 之前一直用 flutter 的 感觉 swiftui 的动画确实厉害

@iwh718 嗯啊 正文里面 cue 到你了哈哈

另外注意哈，因为是全 swiftUI 开发，加上主要功能是小组件，所以系统限制为 ios14

需要梯一下哈，不然拉不到数据的

另一个帖子里追过来的，楼主是换了 app store 账号提交的 app 吗？