V2EX › belcher 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2019-01-20 23:03:09 +08:00

回复了 voxtriorusa 创建的主题 › 云计算 › 试用了一哈 aws，在我这延迟 270ms，

lightsail 日本和新加坡挺好的。

2019-01-20 22:36:15 +08:00

回复了 belcher 创建的主题 › Hadoop › spark 的 shuffle 算子一定会产生宽依赖吗？

@jakson 问题就在这，概念上是你说的这样的。宽依赖本质是父 rdd 的一个 partition 被多个子 rdd 的 partition 共享，就是一对多。那么如果使用了 shuffle 算子之后，父 rdd 的一个 partition 并没有被多个子 rdd 的 partition 共享，而是只分配给了一个子 rdd 的 partition，这还算宽依赖吗？

2019-01-19 21:20:04 +08:00

回复了 belcher 创建的主题 › Hadoop › spark 的 shuffle 算子一定会产生宽依赖吗？

@bsidb 我懂了，分区规则一样，join 的时候 partition 就不存在一对多的情况了，也就是 shuffle 算子不一定产生宽依赖。那么，宽依赖一定是由 shuffle 产生的，这句话是对的么，有没有特例？

2018-12-21 15:53:44 +08:00

回复了 hitfxw 创建的主题 › 酷工作 › [深圳][社招] 深信服云计算产品招后端工程师，工作地点位于南山智园，塘朗地铁站边

我做大数据的，想去你们公司但是经验达不到要求，我 17 年毕业做了不到一年大数据，所以想面大数据测试岗，你能帮个忙推一下么😉

2018-12-20 14:39:07 +08:00

回复了 suley 创建的主题 › 宽带症候群 › 做个小调查，哪家宽带/哪个地区的上传速度最快？

深圳这边出了个游戏宽带，100m 上传。。。

2018-12-20 14:15:22 +08:00

回复了 shuni9 创建的主题 › 酷工作 › 「北京」「知乎」大数据开发（数仓方向）招聘实习生

敢问您的邮箱地址是什么鬼