如何逐行读取大文件

Question

如何在PHP中逐行读取文件，而不将其完全加载到内存中？

我的文件太大，无法在内存中打开，所以我总是有内存耗尽错误。

文件大小为1 GB。

Answer 1

可以使用fgets()功能通过线来读取文件行：

$handle = fopen("inputfile.txt", "r"); 
if ($handle) { 
    while (($line = fgets($handle)) !== false) { 
     // process the line read. 
    } 

    fclose($handle); 
} else { 
    // error opening the file. 
} 

Answer 2

if ($file = fopen("file.txt", "r")) { 
    while(!feof($file)) { 
     $line = fgets($file); 
     # do same stuff with the $line 
    } 
    fclose($file); 
} 

Answer 3

使用缓冲技术来读取文件。

$filename = "test.txt"; 
$source_file = fopen($filename, "r") or die("Couldn't open $filename"); 
while (!feof($source_file)) { 
    $buffer = fread($source_file, 4096); // use a buffer of 4KB 
    $buffer = str_replace($old,$new,$buffer); 
    /// 
} 

Answer 4

需小心，“而（！FEOF ...与fgets（）”的东西，与fgets可以得到一个错误（returnfing假）和循环永远没有达到文件的末尾。codaddict是最接近于正确的但是当你的“而与fgets”循环结束时，检查FEOF;如果不是真的，那么你有一个错误

Answer 5

函数读取与阵列回报

function read_file($filename = ''){ 
    $buffer = array(); 
    $source_file = fopen($filename, "r") or die("Couldn't open $filename"); 
    while (!feof($source_file)) { 
     $buffer[] = fread($source_file, 4096); // use a buffer of 4KB 
    } 
    return $buffer; 
} 

Answer 6

您可以使用面向对象的接口类的文件 - SplFileObjecthttp://php.net/manual/en/splfileobject.fgets.php（PHP 5> = 5.1.0）

<?php 

$file = new SplFileObject("file.txt"); 

// Loop until we reach the end of the file. 
while (!$file->eof()) { 
    // Echo one line from the file. 
    echo $file->fgets(); 
} 

// Unset the file to call __destruct(), closing the file handle. 
$file = null; 

Answer 7

有一个file()函数，返回包含在文件中的线的阵列。

foreach(file('myfile.txt') as $line) { 
    echo $line. "\n"; 
} 

Answer 8

这个问题的一个流行的解决方案将有新的行字符的问题。用简单的str_replace就可以很容易地修复它。

$handle = fopen("some_file.txt", "r"); 
if ($handle) { 
    while (($line = fgets($handle)) !== false) { 
     $line = str_replace("\n", "", $line); 
    } 
    fclose($handle); 
} 

Answer 9

foreach (new SplFileObject(__FILE__) as $line) { 
    echo $line; 
} 

Answer 10

如果你打开一个大文件，你可能想使用旁边与fgets发电机（），以避免加载整个文件到内存：

/** 
* @return Generator 
*/ 
$fileData = function() { 
    $file = fopen(__DIR__ . '/file.txt', 'r'); 

    if (!$file) 
     die('file does not exist or cannot be opened'); 

    while (($line = fgets($file)) !== false) { 
     yield $line; 
    } 

    fclose($file); 
}; 

使用方法如下：

foreach ($fileData() as $line) { 
    // $line contains current line 
} 

这样，您可以处理foreach（）中的单个文件行。

注：发电机需要> = 5.5 PHP

Answer 11

这我如何与非常大的文件（具有高达100G测试）管理。并且它比fgets更快（）

$block =1024*1024;//1MB or counld be any higher than HDD block_size*2 
if($fh = fopen("file.txt", "r")){ 
      $left=''; 
    while (!feof($fh)) {// read the file 
     $temp = fread($fh, $block); 
     $fgetslines = explode("\n",$temp); 
     $fgetslines[0]=$left.$fgetslines[0]; 
     if(!feof($fh))$left = array_pop($lines);   
     foreach($fgetslines as $k => $line){ 
      //do smth with $line 
     } 
    } 
} 
fclose($fh); 

Answer 12

SplFileObject在处理大文件时非常有用。

function parse_file($filename) 
{ 
    try { 
     $file = new SplFileObject($filename); 
    } catch (LogicException $exception) { 
     die('SplFileObject : '.$exception->getMessage()); 
    } 
    while ($file->valid()) { 
     $line = $file->fgets(); 
     //do something with $line 
    } 

    //don't forget to free the file handle. 
    $file = null; 
}