1
我想与我们的数据科学家在EMR集群中使用pyspark和jupyter的其他集群共享我在Scala中创建的udfs。如何在EMR集群中跨Jupyter笔记本使用自定义用户定义函数？
这可能吗？怎么样？
A
回答
0
this answer确实有助于
创建一个超级罐子，放在S3上的引导作用COPT从S3引发当地的jar文件夹，它应该工作的
相关问题
- 1. 我可以从R jupyter笔记本中调用自定义JavaScript
- 2. 如何在IJulia笔记本中定义自定义_repr _ * _方法？
- 3. 使用PyCharm在Jupyter笔记本中导入自定义模块的问题
- 4. 无法加载Jupyter笔记本中的自定义小部件
- 5. 如何在用户自定义函数中使用自定义类型？
- 6. 如何在mclust中自定义群集？
- 7. 在EMR集群中针对apache spark任务自定义log4j
- 8. 如何在自定义数据验证中使用用户定义的函数？
- 9. 用户自定义函数
- 10. 传单与自定义标记集群
- 11. KeyError：在用户自定义函数中
- 12. Flink群集中的Ignite用户定义函数的ClassNotFound错误
- 13. 如何在VBA中定义的自定义函数中使用excel函数？
- 14. 如何使用云外壳的Jupyter笔记本连接到Dataproc群集
- 15. 用户定义的使用plsql的自定义聚合函数
- 16. 如何在用户定义函数中使用AQL函数？
- 17. 使用自定义AMI运行Amazon EMR？
- 18. 如何在Leksah中定义用户定义的函数？
- 19. 在自定义jQuery类中使用自定义函数功能
- 20. HERE map使用自定义图像的标记群集
- 21. JFreeChart 2D函数绘制用户定义的自定义函数
- 22. 如何在jupyter中定义自定义魔法？
- 23. 如何使用自定义函数
- 24. SSRS：如何使用自定义函数
- 25. Robomongo，如何使用自定义函数？
- 26. 在自定义函数中使用data.frame？
- 27. 在自定义函数中使用set_index
- 28. 在assetmanager中使用自定义函数
- 29. 在Jupyter笔记本
- 30. 使用笔记本电脑的自定义按钮
可能的复制[使用Scala的UDF在PySpark] （https://stackoverflow.com/questions/41780141/using-a-scala-udf-in-pyspark） – zeapo
@zeapo不要这么想，因为它是关于在Jupyter中跨EMR集群共享UDF，可以提供这样的功能。这在Spark中是不可能的，除非*人们在Spark Thrift服务器中使用共享的'SparkSession'。 –
这不是，因为我希望能够共享现有函数并将它们添加到spark目录中，而不是每次都重新创建它们 –