V2EX › ghbai 的所有回复 › 第 1 页 / 共 2 页

gocrawl(开源爬虫类库)的一种方案
https://github.com/PuerkitoBio/gocrawl/blob/master/popchannel.go

```
type popChannel chan []*URLContext
// The stack function ensures the specified URLs are added to the pop channel
// with minimal blocking (since the channel is stacked, it is virtually equivalent
// to an infinitely buffered channel).
func (pc popChannel) stack(cmd ...*URLContext) {
toStack := cmd
for {
select {
case pc <- toStack:
return
case old := <-pc:
// Content of the channel got emptied and is now in old, so append whatever
// is in toStack to it, so that it can either be inserted in the channel,
// or appended to some other content that got through in the meantime.
toStack = append(old, toStack...)
}
}
}
```

2016-11-04 17:17:48 +08:00

回复了 depress 创建的主题 › 微信 › 突然在想一个问题，微信当初是怎么推广的？

对微信早期印象是摇一摇、约炮，但是后来身边人越来越多都在用就开始用了。

2016-10-12 11:43:15 +08:00

回复了 avichen 创建的主题 › 程序员 › 有用过 NSQ 的吗，它做 cluster 不能在一台机器上跑多个实例吗？

错误提示是 FATAL: --data-path=/usr/local/bin/nsq in use (possibly by another instance of nsqd)
你要为这两个实例指定不同的 data_path 参数，不是监听端口的问题

2016-10-12 11:37:58 +08:00

回复了 avichen 创建的主题 › 程序员 › 有用过 NSQ 的吗，它做 cluster 不能在一台机器上跑多个实例吗？

我 QQ 号 951644384,加 QQ 聊吧,我帮你看下。

2016-10-12 11:36:59 +08:00

回复了 avichen 创建的主题 › 程序员 › 有用过 NSQ 的吗，它做 cluster 不能在一台机器上跑多个实例吗？

再加上一个 nsqlookupd 也是可以的,没有关系。

2016-10-12 11:30:02 +08:00

回复了 avichen 创建的主题 › 程序员 › 有用过 NSQ 的吗，它做 cluster 不能在一台机器上跑多个实例吗？

我自己试了下是可以的哇
nsqd 的两个配置文件分别为
/*nsqd.4150.cfg*/
id = 1
tcp_address = "0.0.0.0:4150"
http_address = "0.0.0.0:4151"
data_path = "./data1"
nsqlookupd_tcp_addresses = [
"127.0.0.1:4160"
]

/*nsqd.4250.cfg*/
id = 2
tcp_address = "0.0.0.0:4250"
http_address = "0.0.0.0:4251"
data_path = "./data2"
nsqlookupd_tcp_addresses = [
"127.0.0.1:4160"
]

2016-10-12 10:21:16 +08:00

回复了 avichen 创建的主题 › 程序员 › 有用过 NSQ 的吗，它做 cluster 不能在一台机器上跑多个实例吗？

你看下启动失败的错误提示然后找原因就可以了啊。
ps:单台机器部署 cluster 是没有意义的。

1 2

❮

❯