如何在Pyspark中将行分成多行

我知道在Python中，可以使用反斜线或括号将行分成多行。如何在Pyspark中将行分成多行

但不知何故在pyspark，当我这样做时，我确实把下一行看作是红色，表明某种东西可能是错的。

(conf.setAppName('Learnfit_Recommender') 
.set("spark.executor.memory", "10g") 
.set("spark.executor.cores",5) 
.set("spark.executor.instances",50) 
.set("spark.yarn.executor.memoryOverhead",1024) 
)

编辑1：我将括号改为反斜线。如果你看到图片，我会看到很少'''。红色甚至sc变量标记为红色。

这是打破pyspark线的正确方法是什么？

来源

2016-11-30 Baktaawar

您是否尝试过执行该文件？ – avr

文件的工作原理。但我的担心是它显示下面一行sc = sparkContext（conf），sc为红色。我正在使用jupyter笔记本运行这个 – Baktaawar

@avr请检查编辑 – Baktaawar

你可以用斜杠和括号

spark = SparkSession \ 
    .builder \ 
    .appName("Python Spark SQL basic example") \ 
    .config("spark.some.config.option", "some-value") \ 
    .getOrCreate()

编辑：并从星火为例提交工作

./bin/spark-submit \ 
--master <yarn> \ 
--deploy-mode <cluster> \ 
--num-executors <2> \ 
--executor-cores <2> \

来源

2016-11-30 19:29:03

请检查编辑与图像 – Baktaawar

它看起来像你有一个'|'字符，除非这是你的光标。我在Jupyter笔记本中也使用PySpark，但为什么要构建它？您可以简单地将Spark路径附加到您的bash配置文件。由于您已经在第一行中指定了'conf = conf'，所以似乎也是多余的。 –

没有那个光标。 Bash配置文件我不想添加，因为目前我正在测试设置。一旦找到正确的设置，我可以将这些添加到bash配置文件 – Baktaawar

您可以使用反斜线或括号打破线pyspark为你做在python中。

你可以找到他们在官方火花Python示例使用火花网站here

来源

2016-11-30 20:03:38 avr

没有必要在PySpark反斜杠前添加空格。

conf = SparkConf() 

conf.setAppName('appName')\ 
.set("spark.executor.memory","10g")\ 
.set("spark.executor.cores",5) 

sc = sparkContext(conf=conf)

来源

2016-12-01 07:15:05

如何在Pyspark中将行分成多行

回答

相关问题