starry97's recent timeline updates
starry97

starry97

V2EX member #366225, joined on 2018-11-27 19:04:28 +08:00
关于 Spark Task 的疑问
Spark  •  starry97  •  Aug 5, 2020  •  Lastly replied by starry97
2
想问下 Java 的 thrift 有没有 TBufferedTransport 模式
Java  •  starry97  •  Jul 25, 2020  •  Lastly replied by starry97
1
Python 内存问题
Python  •  starry97  •  Mar 10, 2020  •  Lastly replied by chenstack
7
starry97's recent replies
Aug 5, 2020
Replied to a topic by starry97 Spark 关于 Spark Task 的疑问
@Finch 一般是多少个 partition 就有多少个 task 。 那 ShuffleMapStage 中有 9 个分区,那么就有 9 个 task 了?

不过我现在知道了,是以 stage 最后 RDD 的分区数为例,还是感谢您!
@hand515 GroupName1 里的 name 是一直变的,不好用数组表示吧 😂😂😂
@GM tree.get("GroupName1").get("name1"); 这个 GroupName1 和 name1 是一直变的,可以用遍历的方法将 tree 一层一层遍历出来吗?
感谢大家,已经解决了,还是我太菜了。
解决方法:
gson.fromJson(jsonStr, new TypeToken<HashMap<String, HashMap<String, JsonBean>>>(){}.getType());
@Jacky23333 好的,我去找找,谢谢您。
@GM 我看文档里定义结果相同的 pojo 是需要属性和 json 字段一致才行,但这里的 GroupName 是一直变的
Mar 9, 2020
Replied to a topic by starry97 Python Python 内存问题
@wuwukai007 使用的是 Python2.7 版本
Mar 9, 2020
Replied to a topic by starry97 Python Python 内存问题
@wuwukai007 list 好像没有 clear 方法吧,

主要是想知道 python 的回收机制咋弄的,这些变量已经没使用了怎么还存在
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2897 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 12:04 · PVG 20:04 · LAX 05:04 · JFK 08:04
♥ Do have faith in what you're doing.