2017-07-18 34 views
1

我运行下面的代码,现在,利用从ML库分类:星火ML decisiontree分类调用随机森林方法

val decisionTree = new DecisionTreeClassifier().setLabelCol("label").setFeaturesCol("features").setMaxDepth(7).setImpurity("gini") 
val model = decisionTree.fit(df3) 
val prediction = model.transform(df3) 

当我看着星火历史,这里是我所看到的: enter image description here

为什么我的单一决策树使用randomForest方法,我做错了什么?而且为什么有​​些任务与其他任务相比真的很长? (如果有什么我可以做,以加快速度,我想知道)

的ML文件中并未给出这么多的信息.​​..

回答

2

随机森林决策树的合奏

所以这和决策树一样。 如果您将最大深度从7调整为1,则需要更少的时间,但您会得到不足的配合。它也是基于RAM的大小。

+0

好吧,它是有道理的。你能否详细说明公羊的尺寸部分?我不得不改变一些参数,如spark.driver.memory来让我的程序工作。 – Tiffany

+2

我认为你应该超过你的执行内存或堆大小。其实这取决于你的模型和解决问题的方式 –

+1

好的,谢谢你,我还发现了setMaxMemoryInMB选项 – Tiffany