删除双引号“，同时将数据加载到Amazon Redshift Spectrum

我想将数据加载到amazon redshift外部表格中。数据为CSV格式并带有引号。我们是否有类似REMOVEQUOTES的内容，表。还什么不同的选择在外部表装入固定长度的数据。删除双引号“，同时将数据加载到Amazon Redshift Spectrum

来源

2017-06-28 SauravT

截至目前，由于OpenCSV SerDe变体尚未得到支持，因此不幸的是没有删除引号的属性。 – grundprinzip

创建外部谱表，您应该引用雅典娜提供的CREATE TABLE语法。要加载CSV逃脱双引号，你应该使用您的以下行ROW FORMAT

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES (
    'separatorChar' = ',', 
    'quoteChar' = '\"', 
    'escapeChar' = '\\' 
)

对于固定长度的文件，您应该使用RegexSerDe。在这种情况下，CREATE TABLE语句的相关部分将如下所示（假设3个字段的长度为100）。

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ("input.regex" = "(.{100})(.{100})(.{100})")

来源

2017-06-28 21:09:07

删除双引号“，同时将数据加载到Amazon Redshift Spectrum

回答

相关问题