分批以最快的方式

我需要运行一些SELECT *查询在Vertica的表，并把这些变成MySQL的 table.But由于反复加载从vertcicadb表到MySQL表庞大的数据，这是非常slow.What可能是一个更快的进程？谁能向我解释如何休眠或任何其他快速的过程可以用Java来实现？分批以最快的方式

import java.io.IOException; 
import java.sql.*; 


public class Main { 
public static void main(String args[]) throws SQLException, IOException, ClassNotFoundException { 
     try { 
      Class.forName("com.vertica.jdbc.Driver"); 
      Connection c = null; 
      Statement stmt = null; 

    c=DriverManager.getConnection("jdbc:vertica://host,user,pass); 
      stmt = c.createStatement(); 
      //File f2 = new File("/Users/pragati.ratan/Desktop/Kalyan.csv"); 
      //CSVWriter csvWriter = new CSVWriter(new FileWriter(f2), ','); 
      String sql = "select * from unified_global_dw.offnetwork_daily_burn_fact_v where date >= '2017-09-03 00:00:00';"; 
      ResultSet rs = stmt.executeQuery(sql); 
      //csvWriter.writeAll(rs, true); 


      Class.forName("com.mysql.jdbc.Driver"); 
      Connection c1 = null; 
      Statement stmt1 = null; 
      c1 = DriverManager.getConnection("jdbc:mysql://hostname/database", "user", "pass"); 
      // stmt1 = c1.createStatement(); 
      String sql1 = "insert into offnetwork_daily_burn (id,offer_id,date,latest_pull_on,burn) values (null,?,?,?,?)"; 
      PreparedStatement preparedStatement = c1.prepareStatement(sql1); 
      while (rs.next()) { 
       int offer_id = rs.getInt(2); 
       Date dateTime = rs.getDate(3); 
       Date datetime1 = rs.getDate(4); 
       double burn = rs.getDouble(5); 

       preparedStatement.setInt(1, offer_id); 
       preparedStatement.setDate(2, dateTime); 
       preparedStatement.setDate(3, datetime1); 
       preparedStatement.setDouble(4, burn); 

       preparedStatement.executeUpdate(); 


      } 
      c.close(); 
      c1.close(); 
     }catch (Exception e){ 
      e.printStackTrace(); 
     } 



     } 

}

这里是我的编码，现在的代码。

来源

2017-09-27 kalyan

这可能不是正确的答案，但！

为什么不试图实现从主要大宗出口和进口都叠加么？

Vertica的出口

vsql -U user -w password-H hosts -F ',' -At -c "SELECT * FROM schema.TableName"' > /tmp/TableName.csv

MySQL的导入

mysqlimport --ignore-lines=1 \ 
      --fields-terminated-by=, \ 
      --local -u root \ 
      -p Database \ 
      TableName.csv

来源

2017-09-27 23:53:42

我喜欢你的答案所以..我也给予好评的。只是你可能要考虑一些额外的改进：使用VSQL和mysqlimport的之间的非打印字符作为字段/记录分隔符（例如CTRL-A和CTRL-B）和命名管道... – mauro

分批以最快的方式

回答

相关问题