当前位置:首页 > 编程教程 > java技术文章 > Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL

Java如何利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL

  • 发布时间:
  • 作者:码农之家
  • 点击:191

这篇文章主要知识点是关于Java、MYSQL、LOAD、DATA、LOCAL、INFILE、的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

Java9模块化开发核心原则与实践
  • 类型:Java9大小:112.3 MB格式:PDF作者:桑德·马克
立即下载

Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL

Mysql load data的使用

数据库中,最常见的写入数据方式是通过SQL INSERT来写入,另外就是通过备份文件恢复数据库,这种备份文件在MySQL中是SQL脚本,实际上执行的还是在批量INSERT语句。

在实际中,常常会遇到两类问题:一类是数据导入,比如从word、excel表格或者txt文档导入数据(这些数据一般来自于非技术人员通过OFFICE工具录入的文档);一类数据交换,比如从MySQL、Oracle、DB2数据库之间的数据交换。

这其中就面临一个问题:数据库SQL脚本有差异,SQL交换比较麻烦。但是几乎所有的数据库都支持文本数据导入(LOAD)导出(EXPORT)功能。利用这一点,就可以解决上面所提到的数据交换和导入问题。

MySQL的LOAD DATAINFILE语句用于高速地从一个文本文件中读取行,并装入一个表中。文件名称必须为一个文字字符串。下面以MySQL5为例说明,说明如何使用MySQL的LOADDATA命令实现文本数据的导入。

注意:这里所说的文本是有一定格式的文本,比如说,文本分行,每行中用相同的符号隔开文本等等。等等,获取这样的文本方法也非常的多,比如可以把word、excel表格保存成文本,或者是一个csv文件。

在项目中,使用的环境是快速上传一个csv文件,原系统中是使用的db2数据库,然后调用了与mysql的loaddata相似的一个函数sysproc.db2load。但是loaddata在mysql的存储过程是不能使用的。采取的方法时在java代码中调用此方法。

实现的例子:

准备测试表

SQL如下:

USE test;

CREATE TABLE `test` (
	`id` int(10) UNSIGNED NOT NULL AUTO_INCREMENT,
	`a` int(11) NOT NULL,
	`b` bigint(20) UNSIGNED NOT NULL,
	`c` bigint(20) UNSIGNED NOT NULL,
	`d` int(10) UNSIGNED NOT NULL,
	`e` int(10) UNSIGNED NOT NULL,
	`f` int(10) UNSIGNED NOT NULL,
	PRIMARY KEY (`id`),
	KEY `a_b` (`a`, `b`)
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARSET = utf8

Java代码如下:

package com.seven.dbTools.DBTools;

import org.apache.log4j.Logger;

import org.springframework.jdbc.core.JdbcTemplate;

import java.io.ByteArrayInputStream;
import java.io.InputStream;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

import javax.sql.DataSource;


/**

 *
 @author seven
 *
 @since 07.03.2013
 */
public class BulkLoadData2MySQL {
  private static final Logger logger = Logger.getLogger(BulkLoadData2MySQL.class);
  private JdbcTemplate jdbcTemplate;
  private Connection conn = null;

  public void setDataSource(DataSource dataSource) {
    this.jdbcTemplate = new JdbcTemplate(dataSource);
  }

  public static InputStream getTestDataInputStream() {
    StringBuilder builder = new StringBuilder();

    for (int i = 1; i <= 10; i++) {
      for (int j = 0; j <= 10000; j++) {
        builder.append(4);

        builder.append("\t");

        builder.append(4 + 1);

        builder.append("\t");

        builder.append(4 + 2);

        builder.append("\t");

        builder.append(4 + 3);

        builder.append("\t");

        builder.append(4 + 4);

        builder.append("\t");

        builder.append(4 + 5);

        builder.append("\n");
      }
    }

    byte[] bytes = builder.toString().getBytes();

    InputStream is = new ByteArrayInputStream(bytes);

    return is;
  }

  /**

   *

   * load bulk data from InputStream to MySQL

   */
  public int bulkLoadFromInputStream(String loadDataSql,
    InputStream dataStream) throws SQLException {
    if (dataStream == null) {
      logger.info("InputStream is null ,No data is imported");

      return 0;
    }

    conn = jdbcTemplate.getDataSource().getConnection();

    PreparedStatement statement = conn.prepareStatement(loadDataSql);
    int result = 0;

    if (statement.isWrapperFor(com.mysql.jdbc.Statement.class)) {
      com.mysql.jdbc.PreparedStatement mysqlStatement = statement.unwrap(com.mysql.jdbc.PreparedStatement.class);

      mysqlStatement.setLocalInfileInputStream(dataStream);

      result = mysqlStatement.executeUpdate();
    }

    return result;
  }

  public static void main(String[] args) {
    String testSql = "LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE test.test (a,b,c,d,e,f)";

    InputStream dataStream = getTestDataInputStream();

    BulkLoadData2MySQL dao = new BulkLoadData2MySQL();

    try {
      long beginTime = System.currentTimeMillis();

      int rows = dao.bulkLoadFromInputStream(testSql, dataStream);

      long endTime = System.currentTimeMillis();

      logger.info("importing " + rows +
        " rows data into mysql and cost " + (endTime - beginTime) +
        " ms!");
    } catch (SQLException e) {
      e.printStackTrace();
    }

    System.exit(1);
  }
}

提示:

例子中的代码使用setLocalInfileInputStream方法,会直接忽略掉文件名称,而直接将IO流导入到数据库中。在实际的实现中也可以把文件上传到服务器,然后读文件再导入文件,此时load data的local参数应该去掉,并且文件名应该是完整的绝对路径的名字。

最后附上LOAD DATA INFILE语法

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'
  [REPLACE | IGNORE]
 INTO TABLE tbl_name
  [FIELDS
  [TERMINATED BY 'string']
  [[OPTIONALLY] ENCLOSED BY 'char']
  [ESCAPED BY 'char' ]
 ]
  [LINES
  [STARTING BY 'string']
 [TERMINATED BY 'string']
 ]
  [IGNORE number LINES]
 [(col_name_or_user_var,...)]
  [SET col_name = expr,...]]

总结

LOADDATA是一个很有用的命令,从文件中导入数据比insert语句要快,MySQL文档上说要快20倍左右。但是命令的选项很多,然而大多都用不到,如果真的需要,用的时候看看官方文档即可。

以上就是本次给大家分享的关于java的全部知识点内容总结,大家还可以在下方相关文章里找到相关文章进一步学习,感谢大家的阅读和支持。

Java 相关电子书
学习笔记
网友NO.970971

Java Web学习之MySQL在项目中的使用方法

前言 尴尬: access denied for user 'root'@'localhost' using password yes 有时候,在连接 MySQL 数据的时候,会报一个错误信息 "access denied for user 'root'@'localhost' using password yes" ,看到这个错误不要一脸懵逼,造成错误的原因就是数据库访问的用户名或密码不正确,这时候一般又分为以下两种情况,分别说一说解决方法。 一、新安MySQL未设置密码,这种情况就需要添加密码,如何添加? 1、用空密码方式使用root用户登录 MySQL mysql -u root 2、修改root用户的密码: mysqlupdate 数据库名称 set password=PASSWORD('新的密码') where USER='root'mysqlflush privileges;mysqlquit 3、重新启动MySQL,就可以使用新密码登录了 二、好久不用,忘记密码 1、打开DOS进入mysql下bin目录:本人:D:\Development\mysql-5.5.29-winx64\bin 2、停止mysql服务,net stop mysql 3、在D:\Development\mysql-5.5.29-winx64\bin 后面输入: mysqld --defaul……

网友NO.173261

JDBC中使用Java8的日期LocalDate和LocalDateTime操作mysql、postgresql

前言 相信大家应该都知道,在实体Entity里面,可以使用java.sql.Date、java.sql.Timestamp、java.util.Date来映射到数据库的date、timestamp、datetime等字段 但是,java.sql.Date、java.sql.Timestamp、java.util.Date这些类都不好用,很多方法都过时了。 Java8里面新出来了一些API,LocalDate、LocalTime、LocalDateTime 非常好用 如果想要在JDBC中,使用Java8的日期LocalDate、LocalDateTime,则必须要求数据库驱动的版本不能低于4.2 下面将分别演示如何在JDBC中使用Java8的日期LocalDate、LocalDateTime来操作mysql,postgresql,话不多说了,来一看看详细的介绍吧。 一:MySQL 首先创建表: create table tb_java8date (id int not null primary key auto_increment,t_date date, t_time time, t_datetime datetime); 然后,加入mysql的驱动 dependency groupIdmysql/groupId artifactIdmysql-connector-java/artifactId version5.1.37/version /dependency 上面说了,数据库驱动的版本不……

网友NO.958696

java(swing)+ mysql实现学生信息管理系统源码

本文实例为大家分享了java实现学生信息管理系统源码,供大家参考,具体内容如下 import java.awt.BorderLayout;import java.awt.Color;import java.awt.Font;import java.awt.GridLayout;import java.awt.event.ActionEvent;import java.awt.event.ActionListener;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util.ArrayList;import java.util.List;import javax.swing.BorderFactory;import javax.swing.JButton;import javax.swing.JFrame;import javax.swing.JOptionPane;import javax.swing.JPanel;import javax.swing.JScrollPane;import javax.swing.JTable;import javax.swing.JTextArea;import javax.swing.table.AbstractTableModel;import javax.swing.text.BadLocationException;/* DROP DATABASE IF EXISTS `myproject`; CREATE DATABASE myproject DEFAULT CHARSET utf8 COLLATE utf8_general_ci; USE ABC; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; DROP TABLE IF EXISTS `student`; CREATE TABLE `s……

网友NO.406006

javascript连接mysql与php通过odbc连接任意数据库的实例

脑洞大开用javascript链接mysql,2个小时总算实现了,用到了odbc,后面又想到用php链接odbc链接数据库,也实现了,就把案例放一下。 注意事项: 1、javascript连接mysql使用的是”new ActiveXObject“这个对象,这个对象只有IE浏览器支持,所以只能在IE浏览器下实现连接mysql。 2、javascript也是通过odbc连接mysql,和php不同的是,其中一个参数,图片中,红色的是php的连接数据源名,蓝色的是javascript连接数据源名,这里非常容易误导。 3.下载配置odbc源需注意,VC库要和odbc安装文件位数一致,32位源对应32位或X86VC库,64位源对应64位VC库,并且odbc数据源管理程序不容易找,有两种办法,第一种打开控制面板,搜odbc,选择对应版本控制器去配置,第二种在windows下面,system32里面搜odbcad32.exe是64位版本,syswow64搜odbcad32.exe是32位版本。 4.如果个人使用配置用户DSN即可,如果……

网友NO.151645

java连接mysql数据库实现单条插入和批量插入

本文实例为大家分享了java连接mysql数据库实现单条和批量插入的具体代码,供大家参考,具体内容如下 本文插入数据库的数据来源:java + dom4j.jar提取xml文档内容 1、连接数据库 package com.njupt.ymh; import java.sql.DriverManager;import java.sql.SQLException;import com.mysql.jdbc.Connection; public class Connect_MySQL { private static final String URL="jdbc:mysql://127.0.0.1:3306/news"; // 一般默认3306,这里设置成6666 (33060) MYSQL8 WMPNetworkSvc private static final String USER="root"; private static final String PASSWORD="12345"; private static Connection connection=null; static{ //1、加载驱动程序(反射的方法) try { Class.forName("com.mysql.jdbc.Driver"); } catch (ClassNotFoundException e) { e.printStackTrace(); } //2、连接数据库 try { connection=(Connection) DriverManager. getConnection(URL, USER,PASSWORD);//地址,用户名,密码 } catch (SQLException e) { e.printStackTrace(); } } public……

<
1
>

Copyright 2018-2020 www.xz577.com 码农之家

版权投诉 / 书籍推广 / 赞助:520161757@qq.com