livy

1热度

2回答

我正在尝试通过livy使用rest api提交spark工作。但是，如果我多次运行同一个脚本，它会运行具有不同作业ID的多个工作实例。我正在寻找一种方法来杀死火花/纱线作业在开始一个新的之前运行同名。 livy文件（https://github.com/cloudera/livy#batch）删除批量作业，但livy会话不返回应用程序名称，只是应用程序id返回。是否有另一种方法可以做到这一点？

0热度

1回答

在Livy（没有安装Hadoop）的批处理模式下提交Python文件

我已经做了一个简单的python文件，它想要在Livy.Livy中提交，目前运行在local mode.Also我在livy.conf文件中提到了以下属性。 curl -X POST --data '{"file": "/usr/local/livy/scripts/pi.py"}' -H "Content-Type: application/json" 10.140.178.24:8999/ba

0热度

1回答

获取集群上的Livy版本

如何获取我在集群中使用的livy版本是什么？我们在群集节点上都有livy客户端和服务器，但我需要知道它的版本最好在horthonwork群集上。与李维安装在节点上

0热度

1回答

如何向Livy提交依赖的JAR？

我在HDInsight上使用Livy将作业提交给Spark群集。我将我的代码写入并编译到JAR中，但它有多个依赖项，其中一些依赖于自定义存储库。我该如何让Livy自己解决这些依赖关系？我不想提交一个胖的jar包，因为依赖关系总是在变化，我不喜欢涉及到的ops努力。

1热度

1回答

在zeppelin中显示全列大小sql

我只是想显示没有截断的列到select中，我有一个数组或一个非常大的长度的Map。我用飞艇来查询DF寄存器作为临时表： %livy.sql select * from maTable 我想有Consommeur列全长我得到的是这样的：你有任何想法？

0热度

1回答

如何在Windows上构建Livy客户端？

我想在Windows上编写一个Java应用程序，该应用程序使用Livy的Java API与远程托管的Apache Livy服务器通信。该docs说： Add the Livy client dependency to your application's POM: <dependency> <groupId>org.apache.livy</groupId> <artifact

0热度

1回答

curl：如何在Windows上使用Kerberos代替NTLM身份验证？

我试图连接到Kerberos安全下的Livy REST服务。在Linux CentOS的curl与negotiate正常工作，接收一个Kerberos kinit票通过 curl --negotiate -u : http://service_link 我面对的是试图做同样的远程Windows桌面上的问题连接后。我正在使用Windows的MIT Kerberos，它能够成功执行kinit。但是

0热度

1回答

Livy错误RSCClient：无法连接到上下文

我正在Scala ApI中运行Livy客户端应用程序，Livy的版本是0.3.0，Spark版本的版本是1.6.0。以下是主要代码。 def main(args: Array[String]): Unit = { var scalaClient: LivyScalaClient = null val livyurl = "http://172.24.4.110:8998" try {

0热度

1回答

当我使用“mvn clean package”构建Livy时未能在存储库中找到jar

我是Livy的新手，并且我构建了Livy，正如官方说的。该命令如下： git clone https://github.com/apache/incubator-livy.git cd incubator-livy mvn package 然后我得到错误如下： [ERROR]插件org.apache.maven.plugins：行家-实施者-插件：1.4.1或一个无法解决：无法找到

1热度

1回答

如何在Livy作业中通过其Java API设置代理用户

我正在使用Livy的Java API在我的集群上的YARN上提交Spark作业。目前这些工作是以“livy”用户的身份提交的，但我想以Livy的代理用户身份提交工作。通过在POST数据中传递一个字段，可以通过向Livy服务器发送POST请求来完成此操作。我在想如果这可以通过Livy的Java API来完成。我使用的是标准的方式来提交作业： LivyClient client = new Liv