-1
我有一套我广播的大变量。这些变量是从集群数据库加载的。是否可以通过工作节点从数据库分配负载，然后让每个节点都将其特定变量广播到所有节点以供后续的映射操作使用？Spark worker节点广播变量可能吗？
谢谢！
A
回答
0
好的，所以答案似乎是否定的。
调用sc.broadcast（someRDD）会导致错误。你必须首先收集（）回驱动程序。
0
广播变量通常传递给工作人员，但我可以告诉你我在python中做了类似的情况。
如果您知道总行数，您可以尝试创建该长度的RDD，然后对其执行映射操作（将分配给工作人员）。在地图上，工作人员正在运行一个函数来获取一些数据（不知道如何让他们获得不同的数据）。
每个工作人员都会通过拨打电话来检索所需的数据。然后，您可以执行collectAsMap（）来获取字典并将其广播给所有工作人员。
但请记住，您需要在每位工作人员上进行客户端请求的所有软件依赖性。您还需要牢记套接字使用情况。我只是做了类似的查询API，并没有看到套接字的增加，尽管我正在定期发送HTTP请求。不确定....
相关问题
- 1. Spark流和可变广播变量
- 2. 广播Spark上下文有可能吗？
- 3. MPI_BCAST会广播主节点变量并更改从节点变量吗？
- 4. 访问Spark java中的广播变量
- 5. Apache Spark广播变量是类型广播？不是RDD？
- 6. 在Apache Spark中广播小变量会值得吗？
- 7. Spark Worker节点自动停止
- 8. 是否有可能从Spark-streaming检查点恢复广播值
- 9. Spark 1.5.2：Worker无法将广播持久化到磁盘
- 10. 从Spark Worker访问环境变量
- 11. Spark ALS Model广播
- 12. Numpy“double” - 广播 - 有可能吗？
- 13. 具有两个主节点的Spark群集。可能吗？
- 14. 如何在Spark中从堆中删除/处理广播变量？
- 15. 使用SparkSession创建广播变量？ Spark 2.0
- 16. 如何在spark 2（java）中创建广播变量？
- 17. Apache Spark广播变量给出mappartitions的错误
- 18. 如何检查广播变量在Spark 2.0中是否有效？
- 19. Spark程序中的广播变量发布
- 20. 访问不同类别的Spark广播变量
- 21. 如何在范围之外引用Spark广播变量
- 22. 如何在Spark Streaming映射函数中广播变量？
- 23. Spark 1.6.3 rdd.foreach用广播变量花费太多时间
- 24. 如何从Java String数组创建Spark广播变量？
- 25. Spark上下文广播变量抛出java.io.NotSerializableException，尽管其Serializable
- 26. 我们是否需要在所有数据节点上安装spark worker节点？
- 27. 我们可以运行kubectl form worker/minion节点吗？
- 28. 广播变量在星火
- 29. tensorflow变量分配广播
- 30. 是否有可能使用spark-submit -package广播Tensorflow库
对于来自数据库的数据创建分区函数非常简单，以确保每个工作人员只获取唯一的子集。有一个驱动程序进程单线程从数据库中提取所有数据只是为了将数据广播到集群上似乎很愚蠢。为什么不让集群完成这项工作？ – ThatDataGuy