在Livy（没有安装Hadoop）的批处理模式下提交Python文件

Question

我已经做了一个简单的python文件，它想要在Livy.Livy中提交，目前运行在local mode.Also我在livy.conf文件中提到了以下属性。

curl -X POST --data '{"file": "/usr/local/livy/scripts/pi.py"}' -H "Content-Type: application/json" 10.140.178.24:8999/batches 

这是给：

Property name: livy.file.local-dir-whitelist, 
value "/usr/local/livy/scripts" 

我的文件保存在以下路径 “在/ usr /本地/李维/脚本”

import json, pprint, requests, textwrap 
host = 'http://localhost:8998' 
data = {'kind': 'spark'} 
headers = {'Content-Type': 'application/json'} 
r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers) 
r.json() 

我使用curl如下提交它我跟随错误：

requirement failed: Local path /usr/local/livy/scripts/pi.py cannot be added to user sessions. 

我的Ubuntu系统只有以下东西：

a)Spark 
b)Livy 
c)Java 

我在做什么错在这里？

Answer 1

对于首次使用livy孵化模式的用户，请检查模板文件是否已重新命名，并剥离.templatelivy.conf.template。然后确保其中包含以下配置。

livy.spark.master = local 
livy.file.local-dir-whitelist = /path/to/script/folder/ 

请确保forward slash出现在路径的终点

然后写在下面的方式网址

的Python：

curl -v -X POST --data '{"file": "/path/to/script/folder/name-of-python-file.py"}' -H "Content-Type: application/json" localhost:8998/batches 

注意：它会不接受相对路径，需要在中定义完整的绝对路径它。