当前位置:首页 > PHP编程文章 > PHP读取CSV大文件导入数据库的实例

实例详解PHP读取CSV大文件导入数据库

  • 发布时间:
  • 作者:码农之家原创
  • 点击:142

这篇文章主要知识点是关于PHP、CSV、PHP处理CSV表格文件的常用操作方法总结 的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下相关资源

PHP7从入门到精通:教学版

《PHP 7从入门到精通》以零基础讲解为宗旨,以PHP 7为蓝本,用实例引导读者深入学习PHP编程的各项技术及实战技能,全面讲解PHP与Web、XML、JavaScript、Ajax、MySQL、Zend框架等技术的交互方法,帮助大家快速学习,欢迎下载。

查看详情

PHP读取CSV大文件导入数据库的实例

PHP如何对CSV大文件进行读取并导入数据库?

对于数百万条数据量的CSV文件,文件大小可能达到数百M,如果简单读取的话很可能出现超时或者卡死的现象。

为了成功将CSV文件里的数据导入数据库,分批处理是非常必要的。

下面这个函数是读取CSV文件中指定的某几行数据:

/**
 * csv_get_lines 读取CSV文件中的某几行数据
 * @param $csvfile csv文件路径
 * @param $lines 读取行数
 * @param $offset 起始行数
 * @return array
 * */
function csv_get_lines($csvfile, $lines, $offset = 0) {
 if(!$fp = fopen($csvfile, 'r')) {
 	return false;
 }
 $i = $j = 0;
	while (false !== ($line = fgets($fp))) {
		if($i++ < $offset) {
			continue; 
		}
		break;
	}
	$data = array();
	while(($j++ < $lines) && !feof($fp)) {
		$data[] = fgetcsv($fp);
	}
	fclose($fp);
 return $data;
}

调用方法:

$data = csv_get_lines('path/bigfile.csv', 10, 2000000);

print_r($data);

函数主要采用行定位的思路,通过跳过起始行数来实现文件指针定位。

至于数据如何入库本文不再详细讲述。

上述函数对500M以内的文件进行过测试,运行通畅,对于更大的文件未做测试,请斟酌使用或加以改进。

这篇PHP读取CSV大文件导入数据库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。

PHP处理CSV表格文件的常用操作方法总结

要做在线Excel表格编辑功能,Excel的xls文件格式的解析就是个问题,毕竟这是微软Office的私有专利格式.
所以要做的话还是用通用的csv(Comma Separated Value,逗号分隔值)格式吧.
各种办公软件都能识别csv表格,其实就是以特定分隔符(比如逗号)分隔单元格的表格.
拿PHP来说,fgetcsv读入csv表格,返回一个数组,
然后foreach输出成HTML的<table>,这步操作几行代码就能实现,非常简单.
工作量主要还在于浏览器前端,建议你用jQuery进行DOM和AJAX操作,
要实现phpMyAdmin那样细粒度双击单元格编辑,然后AJAX提交也不难,
或者整个表格写好后一次性$("form").serialize();然后AJAX提交也可以.

CSV表格的几条规则:
1.每一行的单元格内容之间用逗号分隔.
2.如果单元格的内容本身有逗号,这个单元格的内容将会用引号包含.
3.如果单元格的内容本身有引号:
(1)引号不在首或尾,这个单元格内容不会被引号包含.
(2)引号在首或尾,这个单元格内容会被引号包含,并且原来首尾的引号会被转义.

读写CSV

<?php
header('Content-Type: text/plain; charset=utf-8');

//导出CSV表格:数组转CSV
$arr = array (
  array('ab', 'cd'),
  array('"a,b"', '"c,d"'),
);
$fp = fopen('file.csv', 'w');
foreach ($arr as $row) {
  //将一行格式化为CSV并写入文件指针
  fputcsv($fp, $row);
}
fclose($fp);
unset($arr);

//导入CSV表格:CSV转数组
$fp = fopen('file.csv', 'r');
while ( ($row = fgetcsv($fp)) !== FALSE ) {
  //从文件指针中读入一行并解析CSV
  $arr[] = $row;
}
fclose($fp);
var_export($arr);

另存为一个独立文件
download.php:

 <?php
$list = array (
  'aaa,bbb,ccc,dddd',
  '123,456,789',
  '"aaa","bbb"'
);
session_start();
$_SESSION['outputArray']=$list;
?>
<a href="test.php" target="_blank">下载csv文件</a>

test.php:
<?php
session_start();
$outputArray=$_SESSION['outputArray'];
header('Content-Type: application/csv');
header('Content-Disposition: attachment;filename="sales.csv"');
$output=fopen('php://output','w') or die("can not open");
foreach ($outputArray as $line) {
  fputcsv($output, split(',', $line));
}
fclose($output) or die("can not close");
?>

自动保存csv文件到指定地点
<?php

$list = array (
  'aaa,bbb,ccc,dddd',
  '123,456,789',
  '"aaa","bbb"'
);

$fp = fopen('file.csv', 'w');

foreach ($list as $line) {
  fputcsv($fp, split(',', $line));
}

fclose($fp);
?>

以上就是本次给大家分享的关于PHP的全部知识点内容总结,大家还可以在下方相关文章里找到thinkphp5框架实现的自定义、 用Zend Framework框架实现Go、 php封装单文件路径上传到、 等php文章进一步学习,感谢大家的阅读和支持。

上一篇:php原生数据库分页的实现过程

下一篇:PHP中excel的导出和下载实例代码

展开 +

收起 -

PHP读取CSV 相关内容
PHP 7 编程实战

PHP7挟很多的、强劲的新作用和小工具强劲而成,应用这种作用和小工具能够 提升编码,编写出比老PHP版本号程序流程速度相当快的程序流程。这书主要详细介绍了PHP7有关的高级PHP编程技术。

查看详情
PHP基础教程

本书以通俗易懂的语言向初学者介绍了PHP语言的基本概念、使用方法和注意事项。全书通过丰富的示例,引领读者逐步掌握这门流行的Web开发语言,使读者能够上手编写适用于常用场景的PHP脚

查看详情
PHP、MySQL与JavaScript学习手册

本书有借助面向对象的编程基础,深入学习PHP。研究MySQL,从数据库结构到复杂查询。掌握JavaScript语言,以及带有jQuery的增强功能。调用Ajax进行后台浏览器/服务器通信等,欢迎免费下载

查看详情
PHP5权威编程

《PHP5权威编程》一书为大家全面介绍了PHP 5中的新功能、面向对象编程方法及设计模式,还分析阐述了PHP 5中新的数据库连接处理、错误处理和XML处理等机制。希望能够帮助读者系统了解、熟练掌握PHP,大程度地挖掘PHP的潜力,以更低的成本搭建更加稳健、高效的PHP应用。

查看详情
PHP+MySQL动态网站开发从入门到精通

《PHP+MySQL动态网站开发从入门到精通》本书循序渐进地介绍了PHP 7 MySQL 5.7开发动态网站的主要知识和技能,提供案例、课件、命令速查手册,让你看得懂、学得会、做得出,教你快速成为网站应用开发高手。

查看详情
PHP和MySQL Web开发

在《PHP和MySQL Web开发》书中,我们将把使用PHP与MySQL的经验和心得体会毫无保留地分享给你,PHP和MySQL是目前热门的两个Web开发工具。

查看详情
PHP编程入门与应用

在近几年中,PHP已经发展成为世界上最为流行的Web平台,它运行在全球超过1/3的Web服务器上。PHP的发展不仅是数量上的,也是质量上的。越来越多的公司,包括全球500强榜上的公司都依靠PHP来

查看详情
PHP读取CSV 学习笔记
网友NO.108498

PHP处理CSV表格文件的常用操作方法总结

要做在线Excel表格编辑功能,Excel的xls文件格式的解析就是个问题,毕竟这是微软Office的私有专利格式. 所以要做的话还是用通用的csv(Comma Separated Value,逗号分隔值)格式吧. 各种办公软件都能识别csv表格,其实就是以特定分隔符(比如逗号)分隔单元格的表格. 拿PHP来说,fgetcsv读入csv表格,返回一个数组, 然后foreach输出成HTML的table,这步操作几行代码就能实现,非常简单. 工作量主要还在于浏览器前端,建议你用jQuery进行DOM和AJAX操作, 要实现phpMyAdmin那样细粒度双击单元格编辑,然后AJAX提交也不难, 或者整个表格写好后一次性$("form").serialize();然后AJAX提交也可以. CSV表格的几条规则: 1.每一行的单元格内容之间用逗号分隔. 2.如果单元格的内容本身有逗号,这个单元格的内容将会用引号包含. 3.如果单元格的内容本身有引号: (1)引号不在首或尾,这个单元格内容不会被引号包含.……

网友NO.810350

PHP 实现从数据库导出到.csv文件方法

PHP 实现从数据库导出到.csv文件方法 实现代码: public function export(){ // 从数据库中获取数据,为了节省内存,不要把数据一次性读到内存,从句柄中一行一行读即可 // 输出Excel文件头,可把user.csv换成你要的文件名 header('Content-Type: application/vnd.ms-excel'); header('Content-Disposition: attachment;filename="order.csv"'); header('Cache-Control: max-age=0'); $where=array( "paid"=1, "pay_type"=array("NEQ","offline"), "status"=array("lt",3), ); $stmt = M("Group_order")-field("order_id,order_name,num,price,total_money,contact_name,phone,zipcode,adress,wx_cheap,balance_pay,payment_money,tuan_type,pay_time,pay_type,third_id,is_mobile_pay,paid,status")-where($where)-order("order_id DESC")-limit(1000)-select(); // 打开PHP文件句柄,php://output 表示直接输出到浏览器 $fp = fopen('php://output', 'a'); // 输出Excel列名信息 $head = array("订单号","订单名称","购买数量","单价","总价","联系人姓……

网友NO.629008

php实现批量上传数据到数据库(.csv格式)的案例

友情提示:上传数据的文档需要转化为.csv格式的文档 前端代码: form name="importForm" action="import.php" method="POST" enctype="multipart/form-data" input type="hidden" value="import_goods" name="file" table cellpadding="2" cellspacing="1" class="tb" tbody tr td width="200"选择批量上传文档:/td tdinput type="file" name="upfilename" id="upfilename" value=""/td /tr tr td colspan="2" input type="submit" name="submit" value="提交" class="btn" /td /tr /tbody /table /form 后端代码:import.php文件 (这里只粘贴主要代码,具体实现方法需自己完成) if(isset($_POST['submit'])){ stripos(PHP_OS, "WIN") !== false ? setlocale(LC_ALL, '') : setlocale(LC_ALL,'zh_CN.GBK'); $fext = substr($_FILES['upfilename']['name'], strrpos($_FILES['upfilename']['name'], '.') + 1); if ($fext != 'csv') { die('请上传csv格式的文件',HTTP_REFERER); } $handle = @fopen($_FILES['upfilename']['tmp_name'], "rb"); $i = 0; $import_type = ''; if ($handle) { wh……

网友NO.247364

php导出csv文件,可导出前导0实例代码

实例一:可导出前导0 //导出csv格式文件 $data数据 $title_arr标题 $file_name文件名function exportCsv($data,$title_arr,$file_name=''){ ini_set("max_execution_time", "3600"); $csv_data = ''; /** 标题 */ $nums = count($title_arr); for ($i = 0; $i $nums - 1; ++$i) { $csv_data .= '"' . $title_arr[$i] . '",'; } if ($nums 0) { $csv_data .= '"' . $title_arr[$nums - 1] . "\"\r\n"; } foreach ($data as $k = $row) { foreach ($row as $key = $r){ $row[$key] = str_replace("\"", "\"\"", $r); $csv_data .= "\"\t" . $row[$key] . '",'; } $csv_data .= '"' . $row[$nums - 1] . "\"\r\n"; unset($data[$k]); } $csv_data = mb_convert_encoding($csv_data, "cp936", "UTF-8"); $file_name = empty($file_name) ? date('Y-m-d-H-i-s', time()) : $file_name; if (strpos($_SERVER['HTTP_USER_AGENT'], "MSIE")) { // 解决IE浏览器输出中文名乱码的bug $file_name = urlencode($file_name); $file_name = str_replace('+', '%20', $file_name); } $file_name = $file_name . '.csv'; header('Content-Type: applicat……

<
1
>

Copyright 2018-2020 xz577.com 码农之家

本站所有电子书资源不再提供下载地址,只分享来路

免责声明:网站所有作品均由会员网上搜集共同更新,仅供读者预览及学习交流使用,下载后请24小时内删除

版权投诉 / 书籍推广 / 赞助:QQ:520161757