使用Livy上传Python脚本

Question

我试图找到一种方法来在火花服务器上使用Livy API (or client)来推送python脚本。我已经尝试了以下。

1. 卷曲-X POST --data '{ “文件”： “/user/test/pi.py”}' -H “内容类型：应用/ JSON” 本地主机：8998 /批次

，但是当我看到 它给没有发现，因为它试图找到 服务器上的路径文件的日志。

1. 使用Livy Python Client。

R = client.upload_pyfile（ “/ TMP /代码/ test.py”）

，这将返回一个未来 对象，但不创建批次，（我甚至不知道它正在上传到的 文件路径）。

基本上我想要的是 -

1. 能够通过API来上传文件，使用李维星火服务器 上。

2. 提交批处理/运行触发器。使用Livy。

Answer 1

使用Livy JAVA客户端我能够做同样的事情。我已经将jar上传到Livy Server并提交了Spark JOBS。

您可以参考下面的链接。 https://livy.incubator.apache.org/docs/latest/programmatic-api.html

注意事项： 1.等待livy客户端成功上传jar /文件。 2.该jar /文件应该可用于livy服务器或可供livy服务器访问的HDFS。