将sqlite3中数据导入到mysql中的实战教程
更新时间：2017年07月11日 10:42:05 作者：小子
最近因为工作的需求，需要将sqlite3中的数据导入到mysql中去，发现网上的一些教程都不够详细，索性自己写一篇，下面这篇文章主要给大家介绍了关于将sqlite3数据库中的数据导入到mysql数据库中的相关资料，需要的朋友可以参考下。
前言
sqlite3只小巧轻便，但是并不支持并发访问，当网站并发量较大时候，数据库请求队列边长，有可能导致队列末尾去数据库操作超时，从而操作失败。因此需要切换到支持并发访问的数据库。切换数据库需要将老的数据导出，再导入到新的数据库中，但是sqlite3和mysql的数据库并不完全兼容，需要做部分调整才能正常导入到mysql中。我最近工作中就遇到了这个问题。
最近一个项目中使用magenetico抓取磁力链接，由于它使用的是sqlite3, 文件会越来越大，而且不支持分布式；所以需要将其改造成MySQL，在迁移之前需要将已经抓取的15G数据导入到MySQL，下面来一起看看详细的介绍吧
方法如下：
从sqlite3文件dump出sql
sqlite3 database.sqlite3 sqlite3> .output /path/to/dump.sql sqlite3> .dump sqlite3> .exit
切分文件
文件比较大的时候，很有导入到一半的时候失败，这个时候需要从失败的行开始切分出一个新的sql文件来
awk '{if (NR>=6240863) print $0>"dump_part.sql"}' dump.sql
mysql参数修改
[mysqld] max_allowed_packet = 100M
sql兼容, 符号替换
# 1. 删除不包含 INSERT INTO 的行 # 2. 替换表名 wrap # 3. 替换 hex sed '/INSERT INTO/!d;s/"table1"/`table1`/;s/"table2"/`table2`/;s/,X/,/' dump.sql
导入到MySQL
# 加上 force 参数, 防止部分有问题的sql阻止导入 mysql -uroot -p -f magnet < dump.sql
引用
How To Use The SQLite Dump Command
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。
相关文章
执行大数据项目的企业面对的关键决策之一是使用哪个数据库，SQL还是NoSQL?SQL有着骄人的业绩，庞大的安装基础;而NoSQL正在获得可观的收益，且有很多支持者。我们来看看两位专家对这个问题的看法2014-03-03
这篇文章主要介绍了在PostgreSQL中使用数组时值得注意的一些地方,包括如何提高输入性能,需要的朋友可以参考下2015-04-04
海量数据库的查询优化及分页算法方案 2 之 改良SQL语句...2007-03-03
DBeaver提供一个图形界面用来查看数据库结构、执行SQL查询和脚本,下面这篇文章主要给大家介绍了关于DBeaver复制数据库(数据库表结构以及内容)的相关资料,需要的朋友可以参考下2024-01-01
sql内连接查询代码，实例分析inner join实现方法2008-04-04
GBase8s中主键（PRIMARY KEY）会自动创建一个唯一索引。一个良好的表设计都应该定义主键或者唯一约束索引。特别是在OLTP系统中，唯一索引可以帮助快速定位少量记录，对GBase8s 索引相关知识感兴趣的朋友一起看看吧2022-02-02
这篇文章主要介绍了数据分析之ELT的基本概念, ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,需要的朋友可以参考下2023-07-07
这篇文章主要给大家介绍了关于如何通过5分钟快速理解数据库死锁的相关资料，文中介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-05-05
你也许连删库跑路都不会（delete、drop和truncate删除数据）
这篇文章主要给大家介绍了关于delete、drop和truncate删除数据的方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
在一个网站中，常常会使用到查询功能。假设一个企业内部网中，用户信息里通常会涉及到工号、姓名、性别、学历、职业、职称、身份证号码、手机号码、座机号码、传真号码、邮政编号、通讯地址等信息。2009-05-05
最新评论