2016-10-28 67 views
-2

我有1 000 000行的文件CSV,我需要将这些行导入到PostgreSQL数据库表中,我需要尽快完成它。快速导入CSV文件到Postgre

我试图用发电机和FSYNC =关闭,但无论如何,我有同样的结果

现在导入时间是17秒,我怎么能优化代码或数据库,以减少时间?

我的代码:

<?php 
    $time_start = microtime(true); 
    ini_set('max_execution_time', 300); 

    require_once 'db-config.php'; 
    function generateString($length = 15) 
    { 
     $chars = 'qwertyuioplkjhgfdsazxcvbnm'; 
     $numChars = strlen($chars); 
     $string = ''; 
     for ($i = 0; $i < $length; $i++) 
     { 
     $string .= substr($chars, rand(1, $numChars) - 1, 1); 
    } 
     return $string; 
    } 



    $fileName = fopen("users.csv", 'a'); 


    for ($i=0; $i < 1000000 ; $i++) 
    { 
     $firstName = generateString(15); 
     $lastName = generateString(15); 
     $age = rand(10, 90); 
     fputcsv($fileName, [$firstName, $lastName, (string)$age]); 
    } 

    fclose($fileName); 

    $sql = "COPY users FROM '/home/artur/Documents/Projects/test.com/users.csv' CSV;"; 
    $stmt = $pdo->prepare($sql); 
    $stmt->execute(); 

    $time_end = microtime(true); 
    $time = $time_end - $time_start; 

    echo "Done! ({$time} seconds)"; 
+1

这是什么问题? – Epodax

+0

现在导入时间是17秒,我如何优化代码或db来减少时间? –

+0

17秒内1万000行。这真的很糟糕吗? – jarlh

回答

1

COPY之前所有的索引和约束,之后重新创建它们。

除此之外,只有更快的硬件才能为您提供帮助。

永远不要在生产中设置fsync=off。不要。