shell脚本操作mysql数据库删除重复的数据

 更新时间:2019年03月15日 11:28:50   作者:Scub   我要评论

今天小编就为大家分享一篇关于shell脚本操作mysql数据库删除重复的数据,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

由于之前的业务,造成数据库上产生了脏数据,写个脚本删除重复的数据。由于是开发测试环境,所以选择任意删除相同uid中的一条。由于每次执行只删除重复数据的一条,需要重复执行,如果本轮没有数据被删就OK

#!/bin/sh
# delete all company's duplicate uid
MYSQL_BIN_PATH=/data/mysql/server/mysql_3306/bin
MYSQL_SOCK_PATH=/data/mysql/server/mysql_3306/tmp
DBUSER=dbuser
DBPWD=userpwd
DBHOSTNAME=192.168.1.105
PORT=3306
# get all company_id
for company_id in `${MYSQL_BIN_PATH}/mysql -u${DBUSER} -p${DBPWD} -h ${DBHOSTNAME} -P ${PORT} --socket=${MYSQL_SOCK_PATH}/mysql.sock -e "
  SELECT company_id FROM company.companypage;"`
do
 if [ $company_id != "company_id" ] ; then
# if [ $company_id -eq 2733 ] ; then 
 suffix=`expr ${company_id} % 100`
 for user_id in `${MYSQL_BIN_PATH}/mysql -u${DBUSER} -p${DBPWD} -h ${DBHOSTNAME} -P ${PORT} --socket=${MYSQL_SOCK_PATH}/mysql.sock -e "
 SELECT user_id FROM company.company_candidate_${suffix} WHERE company_id=${company_id} AND user_id>0 GROUP BY company_id, user_id HAVING COUNT(user_id) > 1;"`
 do
 if [ $user_id != "user_id" ] ; then
  ${MYSQL_BIN_PATH}/mysql -u${DBUSER} -p${DBPWD} -h ${DBHOSTNAME} -P ${PORT} --socket=${MYSQL_SOCK_PATH}/mysql.sock -e "
  DELETE FROM company.company_candidate_${suffix} WHERE company_id=${company_id} and user_id=${user_id} limit 1;" 
  echo "delete from company_candidate_${suffix} where company_id=${company_id} and user_id=${user_id} limit 1"
 fi
 done
# fi
 fi
done
exit 0

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

  • Shell正则表达式验证IP地址

    Shell正则表达式验证IP地址

    这篇文章主要介绍了Shell正则表达式验证IP地址,本文给出了多个方法,并分别给出实现代码,需要的朋友可以参考下
    2015-05-05
  • 用Shell判断字符串包含关系的方法小结

    用Shell判断字符串包含关系的方法小结

    这篇文章主要给大家介绍了关于用Shell判断字符串包含关系的几种方法,其中包括利用grep查找、利用字符串运算符、利用通配符、利用case in 语句以及利用替换等方法,每个方法都给出了详细的示例代码与介绍,有需要的朋友们可以参考参考借鉴,下面来一起看看吧。
    2016-12-12
  • 如何短时间内学好一门语言 shell脚本语言为例

    如何短时间内学好一门语言 shell脚本语言为例

    这篇文章主要以shell脚本语言为例,为大家介绍了如何短时间内学好一门语言,感兴趣的小伙伴们可以参考一下
    2016-09-09
  • 每天一个linux命令 head命令

    每天一个linux命令 head命令

    这篇文章主要为大家详细介绍了一个linux命令:head命令,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-02-02
  • linux 中grep 匹配制表符 和 换行符的命令

    linux 中grep 匹配制表符 和 换行符的命令

    这篇文章主要介绍了linux 中grep 匹配制表符 和 换行符的命令,需要的朋友可以参考下
    2018-07-07
  • Shell实现文本去重并操持原有顺序

    Shell实现文本去重并操持原有顺序

    这篇文章主要介绍了Shell实现文本去重并操持原有顺序,本文分步骤讲解如何解决需求,并给出了若干方法,需要的朋友可以参考下
    2015-03-03
  • Shell脚本编程之判断语句

    Shell脚本编程之判断语句

    这篇文章主要介绍了Shell脚本编程之判断语句的相关资料,需要的朋友可以参考下
    2016-01-01
  • 完美解决Linux搭建sftp出现Write failed:Broken pipe的问题

    完美解决Linux搭建sftp出现Write failed:Broken pipe的问题

    下面小编就为大家带来一篇完美解决Linux搭建sftp出现Write failed:Broken pipe的问题。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • 复制 Windows cmd 窗口命令行的信息方法

    复制 Windows cmd 窗口命令行的信息方法

    下面小编就为大家带来一篇复制 Windows cmd 窗口命令行的信息方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-02-02
  • shell编程基础知识小结

    shell编程基础知识小结

    这篇文章主要介绍了shell编程基础知识,包括文件类型、正则表达式、字符类、引号类型、变量设置、条件测试、命令执行顺序、脚本调试方面的介绍
    2013-02-02

最新评论