k8s 并行处理有没有相关代码例子
licolnlee886 · 2023-11-07 22:11:28 +08:00 via Android · 1103 次点击这是一个创建于 406 天前的主题，其中的信息可能已经有所发展或是发生改变。
想请教一下各位大佬，比如说给一个很大区间范围的数据进行分区求和，先由 master 分给各个 worker ，由 worker 来计算后反馈给 master 进行汇总，我在网上找了很多但是都没有找到相关的源码可供参考。各位大佬能不能指点指点，谢谢。
 |
1
YsHaNg 2023-11-07 22:32:07 +08:00
|
 |
2
ccde8259 2023-11-07 22:36:23 +08:00 via iPhone
为啥是 K8S 而不是 YARN+Spark
|
 |
3
dayeye2006199 2023-11-08 09:38:40 +08:00 via iPhone
你需要的的是一个可以做 map reduce 类任务的框架, k8s 并不管这事
复杂点可以用 spark ，简单点就 ray dask 这些并行处理框架 |
Select Language