根据常见词的出现对csv数据进行排序

Question

我有一个来自csv文件的大数据，其格式如下所示。

url1, comment1 
url2, comment2 

我需要找到注释之间的常用词，并根据每行上出现的常见词进行排序。

目前我能够获得常用词汇，但我失去了如何在不耗尽内存的情况下对每个常用词汇进行排序。

下面是我非常低效的代码。

$data = array(); 
while (($row = fgetcsv($fh, 1024, ',')) !== false) { 
    $data[] = $row[1]; 
} 

$str = preg_replace('/\s\s+/', ' ', trim(str_replace(array('!', '?', '.', ','), ' ', implode('', $data)))); 

$words = explode(" ", $str); 
var_dump(array_count_values($words)); 

Answer 1

负载分解数据/字到数据库听起来是个好主意，

OR你可以试试这个：

$summary = array(); 
$data = array(); 
while (($row = fgetcsv($fh, 1024, ',')) !== false) 
{ 
    $data[] = $row[1]; 
    $str = preg_replace('/\s\s+/', ' ', trim(str_replace(array('!', '?', '.', ','), ' ', $row[1]))); 
    $words = explode(" ", $str); 
    foreach ($words as $word) 
    { 
    $word = strtolower($word); // lowercase to reduce variations 
    $summary[$word]++; 
    } 
} 
/* variable $summary will contains all your count */ 
/* take note on the size of $summary, could growth quite big */