1
有没有人遇到将数据集保存到BigQuery表中？如何将Spark数据集保存到BigQuery表中
我使用以下example成功加载到BigQuery中。这使用RDD.saveAsNewAPIHadoopDataset方法来保存数据。 我正在使用数据集（或DataFrame）并正在查找saveAsNewAPIHadoopDataset方法，但无法找到它。
任何例子都会很棒。
A
回答
0
可以使用spark-bigquery它有一个方法dataframe.saveAsBigQueryTable：
df.saveAsBigQueryTable("my-project:my_dataset.my_table")
相关问题
- 1. 如何将列表保存到spark中？
- 2. 使用Spark将数据保存到Cassandra
- 3. 如何使用spark的saveToCassandra将数据保存在cassandra表中？
- 4. 如何使用spark python将数据保存在cassandra表中？
- 5. 如何将数据框保存到spark 1.6中的csv文件？
- 6. 保存后的Spark数据集计数
- 7. 如何将BigQuery查询结果保存到另一个表中？
- 8. 如何将SCollection元素保存到不同的BigQuery表中？
- 9. 将新数据保存到数据集
- 10. 将数据集保存到数据库
- 11. 将数据集保存到数据库
- 12. 如何在spark中将数据集<Row>保存在mySQL中？
- 13. 如何使用java将spark数据保存到cassandra？
- 14. 将数据从BigQuery数据集转移到我自己创建的BigQuery表
- 15. 如何将多个数据集保存到数组中？
- 16. 将Google BigQuery中的数据加载到Spark中（在Databricks上）
- 17. spark-scala - 将数据框保存到覆盖模式下的表
- 18. 如何将数据集值保存到数据库
- 19. 如何将网页收集数据保存到数据库
- 20. 如何使用sparklyr将数据存储在Spark群集中？
- 21. 如何将表单数据保存到数据库中
- 22. 将表数据保存到数组中？
- 23. 如何将Backbone.js集合保存到数据库中
- 24. 如何将JSON数据保存到集合中？
- 25. 如何将表格中的数据保存/插入到表中？
- 26. Spark Streaming：如何有效地将foreachRDD数据保存到Mysql数据库？
- 27. WPF将数据集保存到xml
- 28. 基于cassandra表分区键将数据保存在spark中
- 29. 将Spark数据框保存为Hive中的动态分区表
- 30. Google BigQuery无法将数据加载到共享数据集中