V2EX › yaoyuan7571 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2016-07-22 10:18:03 +08:00

回复了 soli 创建的主题 › 程序员 › 求个能 beats 90% 以上的 Move Zeroes 算法

void moveZeroes(vector<int>& nums) {
int zero_count=0;
for (int i=0; i<nums.size(); i++) {
if (nums[i] == 0) {
zero_count++;
} else {
int j=i-zero_count;
nums[j] = nums[i];
}
}
int last = nums.size()-1;
for (int i=0;i<zero_count;i++) {
nums[last]=0;
last--;
}
}

2016-07-06 15:08:41 +08:00

回复了 HeartJ 创建的主题 › Hadoop › Hadoop streaming C++ MapReduce 求助

可以试着看下 reduce 程序中是否有代码或数据错误导致程序崩溃，减少 reducer 数目，然后在代码中输出一些调试日志，然后在 jobtracker 界面查看日志，确定程序崩溃位置，推荐使用 java 开发

2016-06-27 22:08:50 +08:00

回复了 qfdk 创建的主题 › Spark › Apache Spark 之间的共享项目配置文件问题

@qfdk sbt run 命令调用的是 project 中的 main class, 而 spark 任务需要使用 spark-submit 脚本提交任务，应该用不到 sbt run 这个命令吧，打包的话可以使用 sbt+assembly 插件(也可以使用 maven 管理项目)生成一个包含所有依赖的全包（去除 spark-core 这种框架已提供的), 外部使用单独的 shell 脚本执行生成的 jar 包

2016-06-27 19:56:10 +08:00

回复了 qfdk 创建的主题 › Spark › Apache Spark 之间的共享项目配置文件问题

@qfdk 贴出来的信息量太少，看不出哪里问题，你可以再仔细看下异常堆栈，应该是其他方面的问题

2016-06-25 09:13:14 +08:00

回复了 qfdk 创建的主题 › Spark › Apache Spark 之间的共享项目配置文件问题

对于 yarn-cluster,可以试下--files /home/expertise/BigData2016/conf/project.properties#project.properties,读取的时候改为
def conf(file: String): Properties = {
val properties = new Properties()
try {
properties.load(new FileInputStream(file))
} catch {
case e : FileNotFoundException =>
properties.load(new FileInputStream((new File(file)).getName())
case e : Throwable => throw e
}
properties
}
因为没有环境不太方便验证，如果不行可以在试一试添加
--conf spark.driver.extraClassPath=./ --conf spark.executor.extraClassPath