Linux中将txt导入到mysql的方法教程

 更新时间:2018年11月07日 14:19:15   作者:Cassie1492949236626  
这篇文章主要给大家介绍了关于在Linux中将txt导入到mysql的方法教程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

前言

昨天写小项目的时候遇到了一个需求:把txt文档的数据导入到mysql数据库中,开始本来想直接用Mysql Workbench导入TXT文件,但是最后发现不支持TXT导入,结果我吧嗒吧嗒的去把TXT转了Excel,拿到Linux上导入的时候又发现了各种乱码问题。

抱着没有什么是程序员干不了的原则,我手写了一个Python代码直接操作文件进行导入了。结果大概一万多条的文件,导入时间大概两分钟。

下面是具体的代码:

  • mysqlpython.py文件:  自定义的连接mysql数据库的类
  • importtxt.py文件: 读TXT文件并进行插入操作
  • dict.txt文件: 要操作的TXT文件

mysqlpython.py文件

from pymysql import *

class Mysqlpython:
 def __init__(self,database,host="localhost",
     user="root",password="123456",
     charset="utf8",port=3306):
  self.database = database
  self.host = host
  self.user = user
  self.password = password
  self.charset = charset
  self.port = port
  

 # 创建数据连接和游标对象
 def open(self):
  self.db = connect(host=self.host,
     user=self.user,
     password=self.password,
     port=self.port,
     database=self.database,
     charset=self.charset)
  self.cur = self.db.cursor()

 # 关闭游标对象和数据库连接对象
 def close(self):
  self.cur.close()
  self.db.close()

 # 执行sql命令
 def zhixing(self,sql,L=[]):
  self.open()

  self.cur.execute(sql,L)
  self.db.commit()

  self.close()

 # 查询功能
 def all(self,sql,L=[]):
  self.open()
  self.cur.execute(sql,L)
  result = self.cur.fetchall()
  return result


if __name__ == "__main__":
 sqlh = Mysqlpython("dictionary") 
 sel = "select * from user"
 r = sqlh.all(sel)
 print(r)

importtxt.py文件

import re
import sys
from mysqlpython import Mysqlpython
sqlh = Mysqlpython("dictionary")

def insert(data):
 arr = data.split()
 name = arr[0]
 description = " ".join(arr[1:])
 ins = "insert into words(name,description) values(%s,%s)"
 sqlh.zhixing(ins,[name,description])

def get_addr():
 f = open('./dict.txt')
 lines=f.readlines()
 for line in lines:
  insert(line)
 f.close()
 return ''


if __name__ =='__main__':
 print(get_addr())

dict.py文件(我复制了几条文件)

a    indef art one
abacus   n.frame with beads that slide along parallel rods, used for teaching numbers to children, and (in some countries) for counting
abandon   v. go away from (a person or thing or place) not intending to return; forsake; desert
abandonment  n. abandoning
abase   v. ~ oneself/sb lower oneself/sb in dignity; degrade oneself/sb ;
abash   to destroy the self-possession or self-confidence of:disconcert
abashed   adj. ~ embarrassed; ashamed
abate   v. make or become less
abattoir   n. = slaughterhouse (slaughter)

针对不同的分隔符修改一下正则表达式即可。全部代码都贴上去了,直接复制修改下数据库的配置就可以运行了。

总结:

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

相关文章

  • ubuntu14.04安装jdk1.8的教程

    ubuntu14.04安装jdk1.8的教程

    这篇文章主要介绍了ubuntu14.04安装jdk1.8的教程,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-09-09
  • Ubuntu18.04(linux)安装MySQL的方法步骤

    Ubuntu18.04(linux)安装MySQL的方法步骤

    本篇文章主要介绍了Ubuntu18.04(linux)安装MySQL的方法步骤,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-05-05
  • linux输入输出重定向使用详解

    linux输入输出重定向使用详解

    linux中使用重定向符号可以实现输出输入重定向,默认条件下,标准输出和错误输出都是终端,用重定向符号可以把标准输出和错误内容进行重定向,例如把标准输出重定向到文件,看下面的详细解释
    2014-01-01
  • SSH远程登录和端口转发详解

    SSH远程登录和端口转发详解

    这篇文章主要介绍了关于SSH远程登录和端口转发的相关资料,文中介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-03-03
  • 详解Linux上svn命令行批量操作

    详解Linux上svn命令行批量操作

    这篇文章主要介绍了详解Linux上svn命令行批量操作的相关资料,linux上的svn命令行批量添加或删除文件,需要的朋友可以参考下
    2017-07-07
  • Ubuntu 16.04安装搜狗拼音输入法错误问题的解决方法

    Ubuntu 16.04安装搜狗拼音输入法错误问题的解决方法

    目前来说搜狗输入法是市场上最为好用和流行的输入法,最为良心的是还有Linux版本,这让众多Linux人士欢呼雀跃。最近在新出的Ubuntu 16.04上安装sogou输入法的时候,碰到了一些问题,主要还是依赖包没有正确安装,下面让我们一起来看如何来解决这个问题。
    2016-11-11
  • Apache No space left on device的解决办法

    Apache No space left on device的解决办法

    [Fri Aug 15 10:54:31 2008] [emerg] (28)No space left on device: Couldn't create accept lockdf一下发现不是磁盘空间的问题。Google了一下就找到了解决方案,原来是系统的信号量(?)不够用了。
    2008-08-08
  • Linux下Kafka单机安装配置方法(图文)

    Linux下Kafka单机安装配置方法(图文)

    Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢
    2015-12-12
  • 解决vim语法高亮不起作用的方法

    解决vim语法高亮不起作用的方法

    这篇文章主要给大家介绍了如何解决vim语法高亮不起作用的方法,文章给大家介绍了多种解决的方法,大家可以根据需要看看是哪个方面的问题,希望能对遇到这个问题的朋友们有所帮助,下面来一起看看吧。
    2016-10-10
  • 详解linux中nginx启动 重启 关闭命令

    详解linux中nginx启动 重启 关闭命令

    本篇文章主要介绍了详解linux中nginx启动 重启 关闭命令,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-02-02

最新评论