php超快高效率统计大文件行数

用php获取文件行数,网上给出的答案通常是使用file这样一次性读取,这样不适用在大文件。通常大文件大家用while来循环的逐行统计,这样的效率太慢。

最快的方法是多行统计,每次读取N个字节,然后再统计行数,这样比逐行效率高多了。

测试情况,文件大小 3.14 GB

第1次:line: 13214810 , time:56.2779 s;

第2次:line: 13214810 , time:49.6678 s;

  1. /*
  2. * 高效率计算文件行数
  3. * @author axiang
  4. */
  5. function count_line($file){
  6. $fp=fopen($file, "r");
  7. $i=0;
  8. while(!feof($fp)) {
  9. //每次读取2M
  10. if($data=fread($fp,1024*1024*2)){
  11. //计算读取到的行数
  12. $num=substr_count($data,"\n");
  13. $i+=$num;
  14. }
  15. }
  16. fclose($fp);
  17. return $i;
  18. }