Python写的一个定时重跑获取数据库数据

更新时间：2016年12月28日 10:03:21 投稿：mrr

本文给大家分享基于python写的一个定时重跑获取数据库数据的方法，非常不错，具有参考借鉴价值，需要的朋友参考下

做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖（一般都是下游依赖上游的数据产出），所以经常会导致数据获取失败，因为很多人发现数据失败后

都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。

建数据表：

CREATE TABLE `testtable` ( 2 `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 3 `name` varchar(20) NOT NULL, 4 PRIMARY KEY (`id`) 5 ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

开始的时候数据表是空的，等到脚本重试第3秒的时候像数据库插入数据。

以下是python代码的实现

#!/usr/bin/env python
 #-*- coning:utf-8 -*- 3 4 import MySQLdb 5 from time import sleep 6 7 class GetData(object): 8 def __init__(self): 9 self.conn = '' 10 self.host = '127.0.0.1' 11 self.port = 3306 12 self.user = 'root' 13 self.passwd = '123456' 14 self.db = 'test' 15 self.cnum = 5 #set retry number 16 17 def init_connect(self): 18 self.conn = MySQLdb.connect(host=self.host, user=self.user, passwd=self.passwd, db=self.db, port=self.port, 19 charset='utf8') 20 21 def get_data(self): 22 self.init_connect 23 cur = self.conn.cursor 24 sql = "select * from testtable" 25 cur.execute(sql) 26 rs = cur.fetchall 27 cur.close 28 self.conn.close 29 return rs 30 31 def run(self): 32 count = 1 33 while (count <= self.cnum): 34 rs = self.get_data 35 if len(rs) > 0: 36 print len(rs) 37 break 38 39 print count 40 sleep(10) 41 count += 1 42 43 if __name__ == '__main__': 44 gd = GetData 45 gd.run

自己可以手动执行，在代码执行到第3秒的时候，执行下面的sql

insert into testtable(`name`) values ('123'),('456'),('789'),('1111'),('3222'),('444');

下面是定时的任务的脚本

00 08 * * * cd /home/python/lsh_sync; python getdata.py >> getdata.log 2>&1

以上所述是小编给大家介绍的Python写的一个定时重跑获取数据库数据，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

您可能感兴趣的文章:

Opencv实现二维直方图的计算及绘制
这篇博客将介绍如何使用Opencv进行二维直方图的计算及绘制，维直方图可以让我们对不同的像素密度有更好的了解，感兴趣的可以了解一下
2021-07-07
python实现控制台输出颜色
这篇文章主要为大家详细介绍了python实现控制台输出颜色，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-03-03
Python与数据库交互：入门指南
这篇文章主要介绍了Python与数据库交互：入门指南的相关资料,需要的朋友可以参考下
2023-11-11
Python的爬虫程序编写框架Scrapy入门学习教程
Python的一大优势就是可以轻松制作Web爬虫,而超高人气的Scrapy则是名副其实的Python编写爬虫的利器,这里我们就来看一下Python的爬虫程序编写框架Scrapy入门学习教程:
2016-07-07
如何利用Python获取文本中的电话号码实例代码
Python的文本处理是经常碰到的一个问题,下面这篇文章主要给大家介绍了关于如何利用Python获取文本中的电话号码的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-09-09
Python中高效的json对比库deepdiff详解
deepdiff模块常用来校验两个对象是否一致，包含3个常用类，DeepDiff，DeepSearch和DeepHash，其中DeepDiff最常用，可以对字典，可迭代对象，字符串等进行对比，使用递归地查找所有差异，今天我们就学习一下快速实现代码和文件对比的库–deepdiff
2022-07-07
详解Django框架中的视图级缓存
这篇文章主要介绍了详解Django框架中的视图级缓存,Django是最具人气的Python web开发框架,需要的朋友可以参考下
2015-07-07
Pycharm不同版本镜像源添加方法
本文主要介绍了Pycharm不同版本镜像源添加方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-02-02
python实现简单倒计时功能
这篇文章主要为大家详细介绍了python实现简单倒计时功能，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-04-04
Python爬虫进阶之Beautiful Soup库详解
这篇文章主要介绍了Python爬虫进阶之Beautiful Soup库详解,文中有非常详细的代码示例,对正在学习python爬虫的小伙伴们有非常好的帮助,需要的朋友可以参考下
2021-04-04