2016-11-04 45 views
1

我试图加载数据,这是Python 2.7库 - 针对AWS Redshift表的pg8000查询的结果。Redshift在表格中插入值

首先我查询一个Redshift表的结果,它在包含列表中的值的元组内提供它们。

例子:

value_tuple = ([datetime.date(2016, 10, 2), 1, 1, 123123], [datetime.date(2016, 10, 2), 1, 2, 3131312]) 

我想这些值插入到另一张表,但我遇到了创建插入语句的几个问题。我愿意单独插入所有的值,但我宁愿一次完成所有的值。

我与工作看起来像这样的表:

| date_column | value_1 | value_2 | value_count | 
| 2016-10-01 | 1 | 2 |  300  | 

首先我试图创建所使用的元组

update_query = """insert into my_schema.my_table_to_update 
         values %s 
         """ % str(value_tuple[0]) 

这样的update_query里面只是一个单一的列表更新查询成为:

'insert into my_schema.my_table_to_update\n      values [datetime.date(2016, 10, 2), 1, 1, 123123]\n      ' 

当我运行更新查询对表我得到这个错误:

pg8000.core.ProgrammingError: (u'ERROR', u'42601', u'syntax error at or near "["', u'70', u'/home/rdsdb/padb/src/pg/src/backend/parser/parser_scan.l', u'699', u'yyerror', u'', u'') 

我想这意味着我不能使用结果列表格式插入到表中。

将这些数据插入到Redshift中的功能,最好是有效的方法是什么?

回答

1

我对pg8000并不熟悉,所以请带上一粒盐。

要运行应该结束了看起来像最后的查询:

INSERT INTO your_table (date_column, value_1, value_2, value_count) 
VALUES ('2016-10-02', 1, 2, 3131312); 

你应该避免与SQL查询字符串插值,因为它可以打开你到一个注入攻击。

您的图书馆应该支持它自己的SQL安全参数化(它也为您提供引用)。如果它遵循Python DB API标准,它应该是以下其中一个:https://www.python.org/dev/peps/pep-0249/#paramstyle

使用的是什么我很熟悉(psycopg2 - http://initd.org/psycopg/docs/usage.html#passing-parameters-to-sql-queries)的代码是这样:

update_query = """insert into my_schema.my_table_to_update 
     (date_column, value_1, value_2, value_count) 
     VALUES (%s, %s, %s, %s);""" 
cur.execute(update_query, value_tuple) 

听起来像你的情况,你可以让它更做这一切在SQL高效。如果您的初始选择查询生成4个期望的字段,并且该字段可以使用正确的列名称进行别名(例如:AS value_count),那么您可以使用如下结构进行查询:

insert into my_schema.my_table_to_update (
    select date_column, value_1, value_2, value_count 
    from (your selection query here) 
);