我正在使用spark.ml渐变提升。生成结果需要将近一天的时间。有没有办法显示进度? (例如,迄今为止生成了多少棵树)spark.ml.gradientboosting的进度报告?
0
A
回答
0
在log4j.properties文件中将缺省日志级别设置为“DEBUG”,或通过修改shell spark.sparkContext.setLogLevel("DEBUG")
中的Spark上下文来设置。这将在树形建造中提供带有状态更新的调试消息,例如,
[DEBUG] 2016-07-31 11:36:23,689 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ###################################################
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - Gradient boosting tree iteration 2
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ###################################################
调试日志记录信息也会显示每次迭代时GBT的错误。
+0
谢谢Seth。我在Spark Standalone上使用Ipython(pyspark)。我在我的笔记本上完成了sc.setLogLevel(“DEBUG”),但我的日志中仍然没有看到任何DEBUG消息。 –
相关问题
- 1. 报告进度
- 2. Directory.GetFiles上的报告进度
- 3. stream.copyto与进度条报告
- 4. 工作进度报告
- 5. SASL商店进度报告
- 6. Progressbar不报告进度
- 7. BackgroundWorker不报告filecopy进度?
- 8. BackgroundWorker报告活动进度
- 9. 进度状态报告的模式
- 10. 解析器的报告进度
- 11. 使用org.eclipse.swt.widgets.ProgressBar报告org.eclipse.core.runtime.jobs.Job的进度
- 12. 定期报告BackgroundWorker的进度
- 13. 使用TAP的WebClient进度报告
- 14. 如何报告JavaScript函数的进度?
- 15. 填写碧玉报告时的进度
- 16. BackgroundWorker不报告进度的问题
- 17. DotNetZip库和C#BackgroundWorker的报告进度
- 18. 仅使用BackgroundWorker报告仅第一次报告进度
- 19. C#Backgroundworker报告2个进度条的进度?
- 20. 扩展Promise以支持进度报告
- 21. 合并序列进度状态报告
- 22. WPF后台工作报告进度
- 23. 如何报告文件上传进度?
- 24. 后台工作犯规报告进度
- 25. Qt并发映射和进度报告
- 26. IProgress <T>多久报告进度
- 27. BackgroundWorker从外部类报告进度?
- 28. 从node.js报告上传进度
- 29. Python Threading:多行进度报告
- 30. 向父UI线程报告进度
不幸的是,除了你可以在火花Web UI中检查的常规任务的进度外,一般不会有什么进展。 – eliasah