0
我在s3中加载制表符分隔的文件，在spark中创建一个数据框。我需要获取数据帧中每条记录的输入文件名信息以供进一步处理。我试过如何获取火花数据框中记录的输入文件名？
dataframe.select(inputFileName())
但是我得到了input_file_name的空值。有人请帮我解决这个问题。
A
回答
1
可以使用withColumn和input_file_name创建数据帧上一个新列：
dataframe.withColumn("input_file", input_file_name)
相关问题
- 1. 如何将记录插入火花的数据框
- 2. 火花数据框中保持最新记录
- 3. 如何输入stdin数据作为输入火花脚本
- 4. 如何从分组数据中获取火花数据帧
- 5. 火花，输入文件的路径
- 6. 如何在火花中记录数据帧？
- 7. 在火花数据帧中插入记录
- 8. 如何写火花sql数据框到excel文件的摘要
- 9. VB.NET如何获取从数据表输入的以前记录？
- 10. 获取Hive中记录的文件名
- 11. 火花数据框被写入分区
- 12. 加入数据框火花java
- 13. 如何从多台机器获取火花流输入？
- 14. 火花：如何从火花外壳运行火花文件
- 15. 如何获得火花数据帧
- 16. 空文件输出火花
- 17. 如何更改perf perf sched记录中的输入文件名
- 18. 获取文件夹中.txt文件的名称和记录数
- 19. 如何获取基于键值的文本文件中输入的记录
- 20. 如何让火花忽略缺少的输入文件？
- 21. 如何添加火花数据框中的火花数据框的列（使用Pyspark）？
- 22. 获取源文件木地板表的目录火花
- 23. 当文件无法放入火花的主内存中时，火花如何读取大文件（petabye）
- 24. 过滤条件如何在火花数据框中工作？
- 25. 如何记住GWT中的文本框输入历史记录
- 26. 获取在火花
- 27. 如何使用火花从文件系统输入
- 28. 将csv文件读取为火花中的数据帧
- 29. 火花数据框中groupping不计空
- 30. 如何在火花数据框的一组行中标记一行
小错字'dataframe.withColumn（ “INPUT_FILE”，input_file_name（））' – markop