使用Google云端存储的Apache Drill

Question

Apache Drill功能列表提到它可以从Google云端存储查询数据，但找不到任何有关如何执行此操作的信息。我已经在S3上正常工作，但怀疑我在Google云端存储方面错失了一些非常简单的东西。

有没有人有Google Cloud Storage的Storage Plugin配置示例？

感谢

中号

Answer 1

我设法查询使用Apache钻（1.6.0），谷歌的Dataproc群集上运行在谷歌云存储（GCS）实木复合地板的数据。 为了设置了，我采取了以下措施：

1. 安装钻机，使访问的GCS连接器（这可以作为一个init脚本的dataproc，只要注意它不是真正的考验并依靠当地动物园管理员实例）：

   #!/bin/sh 
   set -x -e 
   BASEDIR="/opt/apache-drill-1.6.0" 
   mkdir -p ${BASEDIR} 
   cd ${BASEDIR} 
   wget http://apache.mesi.com.ar/drill/drill-1.6.0/apache-drill-1.6.0.tar.gz 
   tar -xzvf apache-drill-1.6.0.tar.gz 
   mv apache-drill-1.6.0/* . 
   rm -rf apache-drill-1.6.0 apache-drill-1.6.0.tar.gz 
   
   ln -s /usr/lib/hadoop/lib/gcs-connector-1.4.5-hadoop2.jar ${BASEDIR}/jars/gcs-connector-1.4.5-hadoop2.jar 
   mv ${BASEDIR}/conf/core-site.xml ${BASEDIR}/conf/core-site.xml.old 
   ln -s /etc/hadoop/conf/core-site.xml ${BASEDIR}/conf/core-site.xml 
   
   drillbit.sh start 
   
   set +x +e 
   

2. 连接到钻控制台，创建一个新的存储插件（称呼它，比如，gcs），并使用以下配置（请注意我复制大部分来自s3配置，做了细微的修改）：

   { 
       "type": "file", 
       "enabled": true, 
       "connection": "gs://myBucketName", 
       "config": null, 
       "workspaces": { 
       "root": { 
        "location": "/", 
        "writable": false, 
        "defaultInputFormat": null 
       }, 
       "tmp": { 
        "location": "/tmp", 
        "writable": true, 
        "defaultInputFormat": null 
       } 
       }, 
       "formats": { 
       "psv": { 
        "type": "text", 
        "extensions": [ 
        "tbl" 
        ], 
        "delimiter": "|" 
       }, 
       "csv": { 
        "type": "text", 
        "extensions": [ 
        "csv" 
        ], 
        "delimiter": "," 
       }, 
       "tsv": { 
        "type": "text", 
        "extensions": [ 
        "tsv" 
        ], 
        "delimiter": "\t" 
       }, 
       "parquet": { 
        "type": "parquet" 
       }, 
       "json": { 
        "type": "json", 
        "extensions": [ 
        "json" 
        ] 
       }, 
       "avro": { 
        "type": "avro" 
       }, 
       "sequencefile": { 
        "type": "sequencefile", 
        "extensions": [ 
        "seq" 
        ] 
       }, 
       "csvh": { 
        "type": "text", 
        "extensions": [ 
        "csvh" 
        ], 
        "extractHeader": true, 
        "delimiter": "," 
       } 
       } 
   } 
   

3. 查询使用以下语法（注意反引号）：

   select * from gs.`root`.`path/to/data/*` limit 10;