2013-06-25 35 views
0

我想将一个CSV文件导入到我的BigQuery表中。此导入已过去,但现在我收到以下错误消息:BigQuery抛出导入错误,没有提供信息

{“message”:“遇到太多错误。限制为:”,“reason”:“invalid”}

当我运行调试器时,所有其他字段都为空。

这是...没有帮助。我并不知道数据本身存在任何问题,因为导出/导入数据没有改变。奇怪的是,当试图使用以前的作业模板并通过Web控制台运行时,Web控制台本身会挂起,并且一旦我点击蓝色的“提交”按钮,对话框就不会消失。

职位编号:job_e0faf560d3df424ea74519e1b24a23f7

我生成CSV并将其导出到谷歌云存储。我正在使用AppEngine并切换到新的Google Cloud Storage Client Library。我已经使用GcsFileOptions.getDefaultInstance()上传了该文件,并构建了自己的GSFileOptions,将内容类型设置为CSV。

失败后,我从Google Cloud Storage下载了该文件,更改了编码(尝试过的ASCII和UTF8)并仍然获得了相同的结果。

我正在使用AppEngine 1.8.1.1和BigQuery库(google-api-services-bigquery-v2-rev89-1.15.0-rc)。这是以前的预期,所以我不知道发生了什么。欢迎任何建议。谢谢!

回答

3

bigquery作业有两个错误字段。首先是错误结果,它告诉你是否(以及为什么)作业失败。由于在导入过程中遇到太多输入错误,导致作业失败的错误结果。

第二个字段是错误流,它告诉您在作业期间遇到的错误。例如,如果您设置了maxBadRecords字段,则可能会在错误流中出现错误,但实际的作业可能会成功。

我在BigQuery日志中查找了你的工作,并能够发现错误流显示第6253行的错误:“列数太少:预计有80列,但有1列(s)。附加帮助:http://goo.gl/RWuPQ

您能否验证第6253行是否正确?

- Jordan Tigani/BigQuery工程师

+1

约旦,感谢您检查日志。它看起来像文件末尾有一个额外的回车!我会纠正这个问题,看看它是否能解决问题。 有没有办法在返回中得到错误信息?这将是非常有用的,并调试这些问题。 谢谢,E –

+2

嘿乔丹!这解决了问题。我还注意到我没有打印出所有的ErrorProtobuffs,所以这就是为什么我看不到错误。希望下次能帮到别人。谢谢! –

1

今天有一个与App Engine的一些普遍问题: “我们仍在调查与谷歌应用程序引擎,主要是(但不限于)数据存储延迟的问题,我们将在接下来的两个小时之内提供另一种状态更新“。 https://groups.google.com/forum/#!topic/google-appengine-downtime-notify/1pJZnl4EMKk

+0

我的问题不在导出步骤。这很奇妙。我的问题在于导入BigQuery步骤。你认为这两件事有关系吗?谢谢! –

相关问题