超时导入mysql中的巨大txt

我想在mysql中导入一个巨大的txt。
这是我第一次尝试使用php和mysql，所以我不确定问题出在哪里。
我有一个接近400万行的文本文件，我需要将它存储在数据库中。
我写PHP的这个PICE做的工作：
超时导入mysql中的巨大txt

$con=mysqli_connect('localhost', 'root', 'root', 'commuting'); 
if (mysqli_connect_errno()) 
    { 
    echo "Failed to connect to MySQL: " . mysqli_connect_error(); 
    } 


$handle = fopen("matrix_pendo2001.txt", "r") or die("Couldn't get handle"); 
if ($handle) { 
    while (!feof($handle)) { 

     $line = fgets($handle, 4096); 

     $a = substr($line,0,3); 
     $b = substr($line,4,3); 
     $c = substr($line,8,1); 
     $d = substr($line,10,1); 
     $e = substr($line,12,1); 
     $f = substr($line,14,3); 
     $g = substr($line,18,3); 
     $h = substr($line,22,3); 
     $i = substr($line,26,1); 
     $l = substr($line,28,2); 
     $m = substr($line,31,1); 
     $n = substr($line,33,1); 
     $o = substr($line,35,8); 

     $sql="INSERT INTO ita (ProvRes, ComRes, Sesso, Motivo, Luogo, ProvLav, ComLav, StatExt, MercPrev, Mezzo, Ora, Tempo, Num) 
     VALUES 
     ('$a', '$b', '$c', '$d', '$e', '$f', '$g', '$h', '$i', '$l', '$m', '$n', '$o')"; 

     if (!mysqli_query($con,$sql)) 
      { 
      die('Error: ' . mysqli_error($con)); 
      } 
     echo "record '<b>" . $line . "'</b> added. <br/>"; 

    } 
    fclose($handle); 
} 
mysqli_close($con);

脚本似乎运作良好，但我不能让所有的行中的分贝。
不到100万个脚本后脚本没有明显的错误。
我已将max_execution_time设置为0，并将memory_limit增加到2048MB，但没有任何更改。

来源

2013-11-25 danipen

你通过命令行运行呢？ – galchen

不要这样做。事实上，根本不要使用PHP。查看[MySQL Reference]（http://dev.mysql.com/doc/refman/5.6/en/load-data.html）中的'LOAD DATA INFILE'。它会更快，更可靠地完成工作。 – 2013-11-25 22:57:12

set_time_limit（0）; – Jompper

我建议你使用LOAD DATA INFILE，这个SQL命令可以直接在服务器端执行，并且会避免超时，并且会因为在localhost中运行而成为最快的方式。

这是一个小例子：

LOAD DATA INFILE '/tmp/test.txt' INTO TABLE test 
    FIELDS TERMINATED BY ',' LINES STARTING BY 'xxx';

基于这样一个问题：loading-fixed-width-space-delimited-txt-file-into-mysql你可以试试这个可能的解决方案：

LOAD DATA LOCAL INFILE 
'/yourfile.txt' 
INTO TABLE clip 
(@row) 
SET a = TRIM(SUBSTR(@row,0,3)), 
    b = TRIM(SUBSTR(@row,4,3)), 
    c = TRIM(SUBSTR(@row,10,1)), 
    ...... 
;

来源

2013-11-25 22:56:48 mcuadros

问题是该文件是一个没有分隔符的txt，但是带有修复列：首先启动一个0字符;第二个是4，第三个是8等（见子字符串变量）。一个ex行看起来像这样：“001 001 1 1 1 001 001 1 06 1 1 2” – danipen

我明白了，然后首先修复CSV并在使用LOAD DATA后，速度会快很多倍。我保证是更好的方法。 – mcuadros

如何将我的txt转换为可用的CSV格式？和如何使用加载数据？ – danipen

超时导入mysql中的巨大txt

回答

相关问题