V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yanzixuan
V2EX  ›  Spark

spark straming。submit Python 脚本报错。

  •  
  •   yanzixuan · 2017-11-24 11:11:55 +08:00 · 4476 次点击
    这是一个创建于 2316 天前的主题,其中的信息可能已经有所发展或是发生改变。

    spark 2.2.0 默认安装,啥都没动 python 2.7.9 ipython 5.4.1 运行 network_wordcount 例子。 跑 scala 脚本成功,但是运行 python 的例子,直接报错: Job aborted due to stage failure: Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID 1, localhost, executor driver): java.lang.IllegalArgumentException: port out of range:459092027

    自己去谷歌了一下,这个 bug 被提交过: https://issues.apache.org/jira/browse/SPARK-7688

    但是被认为不是 bug,直接关掉了 怎么解决的没说。 有达人知道怎么搞么?

    kex0916
        1
    kex0916  
       2017-11-24 11:44:02 +08:00
    没用过 python spark,看 7688 介绍说升级到 python 3.1.0 可以用的嘛
    yanzixuan
        2
    yanzixuan  
    OP
       2017-11-24 14:13:08 +08:00
    @kex0916 公司环境是 python2.7.无法啊。
    kex0916
        3
    kex0916  
       2017-11-24 14:30:24 +08:00
    @yanzixuan 那就很尴尬了,或者考虑 scala+shell 的方式吧
    tttwww18
        4
    tttwww18  
       2017-11-24 18:23:29 +08:00
    https://issues.apache.org/jira/browse/SPARK-3772 作为参考,设置 PYSPARK_PYTHON 试试呢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   943 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:57 · PVG 04:57 · LAX 13:57 · JFK 16:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.