Spark BigQuery连接器vs Python BigQuery库

Question

我目前正在使用pyspark和ipython-notebook的推荐系统。我想从存储在BigQuery中的数据获取建议。有两种选择：Spark BQ连接器和Python BQ库。

这两个工具的优缺点是什么？

Answer 1

Python BQ库是一种与Python进行BQ交互的标准方式，因此它将包含BigQuery的完整API功能。您提到的Spark BQ连接器是Hadoop Connector - 一个Java Hadoop库，它允许您使用抽象的Hadoop类从BigQuery读取/写入数据。这将更接近您如何与本机Hadoop输入和输出进行交互。

您可以找到Hadoop Connector here的示例用法。