为什么word2vec只以mapPartitionsWithIndex一项任务Word2Vec.scala：323

Question

我正在word2vec火花，当它涉及到fit()，只有一个任务在UI观察图像：

。

根据配置，num-executors = 1000, executor-cores = 2。 RDD合并到2000个分区。 mapPartitionsWithIndex需要相当长的时间。它可以分发给多个执行者或任务吗？

Answer 1

setNumPartitions(numPartitions: Int)解决了我的问题。我没有检查默认值。 设置分区数量（默认值：1）。