优化在大循环中执行“选择”查询的速度

我在Java循环中执行一个简单的“select”查询，如下所示。列表的大小可以增长到10000+。我怎样才能提高查询速度？任何示例或建议表示赞赏。谢谢。优化在大循环中执行“选择”查询的速度

请注意，我需要检索该表的每一列中的所有数据，所以这就是使用星号（*）的原因。

List<String> valueList = .... 
Connection conn = null; 
PreparedStatement ps = null; 
ResultSet rs = null; 

try { 
    DriverManager.registerDriver(new oracle.jdbc.OracleDriver()); 
    conn = DriverManager.getConnection(dbURL, dbUsername, dbPassword); 
    for (int m = 0; m < valueList.size() ; m++) {  
     String sql = "SELECT * FROM WORKSHEET WHERE " + sheetId + " = '" +  
         valueList.get(m) + "'"; 
     ps = conn.prepareStatement(sql); 
     rs = ps.executeQuery(); 
     // retreive data....   
    } 
}

编辑：最后，有几种方法可以加快查询速度。我使用第二种方法，因为它将来会阻止ORA-04031错误。

使用带'IN'子句的参数化'SELECT'查询。
创建一个嵌套表并将来自JDBC的项目数组/列表转换为创建的嵌套表。
创建一个临时表并插入项目列表。然后执行JOIN到主表（1查询）并获得结果。

来源

2011-07-05 Wilts C

[SQL注入Hooooorrrrraaay！]（http://bobby-tables.com/）*旁注：*使用参数化查询也会给你更好的性能。 – Bobby

您已经给出了*的原因 - 您没有使用参数化查询的任何原因？ –

通过在每个查询（'WHERE pair1或pair2或pair3 etc ...'）中检索多个sheetID/m对来减少执行的查询的总数将会减少一些开销。 –

有试图加快这时候要考虑两件事情：

所有sheetid的
执行这个查询只有一次请确保您正在执行每一次相同的查询，通过不硬编码值in。由于这些值可能会发生变化，因此每个查询都将看起来像上一个查询，但只有几个不同的值。这将不允许Oracle重新使用先前的查询并导致共享池中的非共享SQL。这将填满共享池。做足够长的时间，您将收到ORA-04031错误消息。

要走的路是使用SQL类型。这是PL/SQL中的一个例子。您可以在Java中使用相同的原则。

首先创建一个表，用一万sheetId的：

SQL> create table worksheet (sheetid) 
    2 as 
    3 select level 
    4  from dual 
    5 connect by level <= 10000 
    6/

Table created.

创建一个SQL类型：

SQL> create type mynumbers is table of number; 
    2/

Type created.

在你的代码，在你的“值列表填充SQL类型与价值观的一个实例“并使用TABLE运算符将类型转换为表格值：

SQL> declare 
    2 valuelist mynumbers := mynumbers(23,124,987,6123,8923,1,7139); 
    3 begin 
    4 for r in 
    5 (select ws.sheetid 
    6  from worksheet ws 
    7   , table(valuelist) vl 
    8  where ws.sheetid = vl.column_value 
    9 ) 
10 loop 
11  dbms_output.put_line(r.sheetid); 
12 end loop; 
13 end; 
14/
1 
23 
124 
987 
6123 
7139 
8923 

PL/SQL procedure successfully completed.

现在您只有一个SQL在你的共享池中，只需执行一次这个查询，而不是数千。

来源

2011-07-06 10:29:08

时间主要用于准备和执行查询。

如果您运行一个返回所有结果的单个查询，那会使事情变得更快。

即：

String where = "(1=0) " 
// first build the where string 
for (int m = 0; m < valueList.size() ; m++) { 
    where = where + " OR (" + sheetId + " = '" + valueList.get(m) + "'"; 
    } 
// then run a single query 
sql = "SELECT * FROM WORKSHEET WHERE " + where; 
ps = conn.prepareStatement(sql); 
rs = ps.executeQuery(); 
// retrieve and handle data. ....

来源

2011-07-05 15:16:50 Eljakim

嗯......你是这么认为的吗？他说：“名单的规模可以增长到10000+” –

我仍然会这样做！运行每个查询的开销是当前放缓他的成本。我认为去一个IN语句也会工作：建立SQL来说WHERE sheetID IN（1,2,3,4 ...）这实际上更漂亮，阅读更短。 – Eljakim

我认为通过使用OR，可以避免Oracle中IN子句的1000个项目限制，这很好。但是我肯定会为所有的String连接使用一个StringBuilder。 – sudocode

您必须用statment准备SQL查询，然后执行查询只有一次......

来源

2011-07-05 15:17:16

IN声明由于1000的限制而无法工作。 –

无论如何，我试图用'OR'和'UNION'来解决它。 –

我不知道这是否是一种进步，但你可以尝试如果sheetId匹配，则选择全部记录并使用您的Java代码检查。这是你应该知道什么是更好的。

来源