怎么统计一个2G大小文件里每个单词的出现频率

ini_set("memory_limit", "-1");function calcWordFrequence($sFilePatch){	$aWordsInFile = array();	$aOneLineWords = array();	$sOneLineWords = "";	$fp = fopen($sFilePatch,"r");	while(!feof($fp)){		$sOneLineWords = fgets($fp);		$aOneLineWords = str_word_count($sOneLineWords,1);		foreach($aOneLineWords as $v){			array_push($aWordsInFile, $v);		}	}	fclose($fp);	$aRes = array_count_values($aWordsInFile);	arsort($aRes);	return $aRes;}echo calcWordFrequence("2013.mp4");

回复讨论(解决方案)

这个问题没法解决，2G大小的文件硬件差点的电脑打开就耗光内存了。在存储上做分布式设计。

这个问题没法解决，2G大小的文件硬件差点的电脑打开就耗光内存了。在存储上做分布式设计。

使用split命令把文件切割成小文件再统计吧

只有文本文件才有行的概念
你测试的 2013.mp4 显然不是文本文件
如果文件中没有出现 \n，或出现的靠后，你的 $sOneLineWords = fgets($fp); 就会把内存消耗光了

如果你是日志之类的文本文件，可以用php的SplFileObject()类，专门用于操作大文件，以前用过这个分析nginx的访问日志，5个多G。