Python通过跳板机访问数据库的方法
什么是跳板机？
跳板机（Jump Server）：也称堡垒机，是一类可作为跳板批量操作的远程设备的网络设备，是系统管理员和运维人员常用的操作平台之一。
那么具体是做什么的呢？
现在一些比较大的互联网企业，往往拥有大量的服务器，为了能够统一方便管理，运维人员通过跳板机去管理对应的服务器。我们在访问服务器的时候，先通过登陆跳板机，然后再进入相应服务器。从一定程度上提升了服务器的数据安全性，也提升了服务器的可维护性。
sshtunnel 连接堡垒机
跳板机的本质还是ssh连接，通过paramiko 自己造轮子的话理论也是可以实现的，这边推荐 sshtunnel 这个包，省的自己写了。
理解了跳板机的原理，这边的配置就比较好理解了。拿这张图举例，首先需要先访问跳板机，其实就是最常见的ssh连接，可以是账户密码，也可以是密钥登录的，如果是密钥的话需要在 跳板机的.ssh 目录下的某个许可文件中添加上自己的公钥
最后还需要补充一下 目标主机的ip 和端口。理解了这些，以下的这些参数就知道怎么配置了，
local_bind_address 可以不配置，不配置会随机获取本地的端口号，如果指定的话就会占用本地固定的端口号，推荐配置这一参数。
填写本地的端口是因为这边会将目标服务器ip的端口映射为本地端口，然后访问本地端口就能实现目标端口的访问了。
from sshtunnel import SSHTunnelForwarder
server = SSHTunnelForwarder(
(host_jump, int(port_jump)), # 跳板机的配置
ssh_pkey=ssh_pk_jump,
#密钥的访问方式，如果是密码 ssh_password=？？？
ssh_username=user_name_jump,
remote_bind_address=(host_mysql, int(port_mysql))) # 数据库服务器的配置
local_bind_address=(local_ip, local_port) # 开启本地转发端口
）
server.start()
server.close()
有些人习惯用 上下文管理器，看起来更舒服些
from sshtunnel import SSHTunnelForwarder
with SSHTunnelForwarder(
(host_jump, int(port_jump)), # 跳板机的配置
ssh_pkey=ssh_pk_jump,
#密钥的访问方式，如果是密码 ssh_password=？？？
ssh_username=user_name_jump,
remote_bind_address=(host_mysql, int(port_mysql))) # 数据库服务器的配置
local_bind_address=(local_ip, local_port) # 开启本地转发端口
）as server
server.start()
连接数据库
建立好通道后就能通过本地映射的端口访问目标的数据库端口了。
常见的mysql 数据库访问 比如 mysqldb，pymysql，mysql.connector，
mysqldb跟 pymysql 差不多，只不过前者适用python2的版本，后者适用python3的版本，mysql.connector是官方推荐的。
pymysql 跟 mysql.connector 还是有一些区别的
我这边使用的是 mysql.connector ，在实践中老是无法连接上，而pymysql却是可以的。
最终终于找到了解决办法。。。
以下是我的mysql.connector 连接数据库的样例。
with SSHTunnelForwarder(
(host_jump, int(port_jump)), # 跳板机的配置
ssh_pkey=ssh_pk_jump,
#密钥的访问方式，如果是密码 ssh_password=？？？
ssh_username=user_name_jump,
remote_bind_address=(host_mysql, int(port_mysql))) # 数据库服务器的配置
local_bind_address=(local_ip, local_port) # 开启本地转发端口
）as server
server.start()
conn = mysql.connector.connect(**{'host': '127.0.0.1',
'port': server.local_bind_port,
'user': dbcfg["user"],
'password': dbcfg["password"],
'db': dbcfg["db"],
'charset': dbcfg["charset"],
'collation': dbcfg["collation"],
'use_unicode': dbcfg["use_unicode"],
'use_pure': True})
cursor = conn.cursor(dictionary=True)
cursor.execute(sql, params)
rows = cursor.fetchall()
# conn.commit()
cursor.close()
conn.close()
这样，数据库就能正常访问啦
代码重构和优化
首先，就上面这样的代码而言，在每次查询都需要进行跳板机的连接，对于短时间突然大量请求的情况，这种是效率极低的。所以最好是能够将建立管道保存下来。
其次，如果同时访问多种数据库的情况，存在有无跳板机的场景，所以最好能够先将所有的数据库都进行连接，将conn保存在字典中，根据要访问的机器调用对应的conn，最后再统一释放。
def get_slave_conn_byProxy(dbcfg):
server = SSHTunnelForwarder(
eval(dbcfg["addr"]),
ssh_username=dbcfg["ssh_username"],
ssh_pkey=os.getenv("HOME") + "/.ssh/id_rsa",
remote_bind_address=eval(dbcfg["remote_bind_address"]),
local_bind_address=eval(dbcfg["local_bind_address"]) # 开启本地转发端口
)
server.start()
conn = get_db_connection({'host': '127.0.0.1',
'port': server.local_bind_port,
'user': dbcfg["user"],
'password': dbcfg["password"],
'db': dbcfg["db"],
'charset': dbcfg["charset"],
'collation': dbcfg["collation"],
'use_unicode': dbcfg["use_unicode"],
'use_pure': True})
return server, conn
def get_db_connection(dbcfg):
# logger.info(f"============ debug db config: {dbcfg}")
conn = mysql.connector.connect(**dbcfg)
return conn
# 通过输入的连接参数判断是否需要通过跳板机的方式
def get_slave_conn(dbcfg):
if "addr" in dbcfg:
return get_slave_conn_byProxy(dbcfg)
else:
conn = get_db_connection(dbcfg)
return None, conn
def read_slave_db_data(sql, conn, params=None, use_pdf=True):
cursor = conn.cursor(dictionary=True)
cursor.execute(sql, params)
rows = cursor.fetchall()
# conn.commit()
cursor.close()
if use_pdf:
return pd.DataFrame(rows)
else:
return rows
到此这篇关于Python通过跳板机访问数据库的文章就介绍到这了,更多相关Python跳板机访问数据库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要给大家介绍了关于Python入门基础之数字字符串与列表的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要介绍了如何基于Python按行合并两个txt,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
今天小编就为大家分享一篇浅谈python3.6的tkinter运行问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
python爬虫开发之urllib模块详细使用方法与实例全解
这篇文章主要介绍了python爬虫开发之urllib模块详细使用方法与实例全解,需要的朋友可以参考下2020-03-03
一文带你深入理解python中pytest-repeat插件的工作原理
这篇文章主要和大家一起深入探讨到底pytest_repeat插件的具体功能是如何实现的呢,相信具体了解了该插件,其他三方插件也可以很快了解它内部运行机制,所以本文详细讲解了python pytest-repeat插件的工作原理,需要的朋友可以参考下2023-09-09
这篇文章详细介绍了如何使用WebDriver解决各种定位元素和处理页面跳转、弹出窗口、元素失去焦点等问题的方法,并通过代码示例讲解的非常详细,需要的朋友可以参考下2025-02-02
这篇文章主要介绍了Python3数据库操作包pymysql的操作方法，文章通过实例代码相结合给大家介绍的非常详细,需要的朋友可以参考下2018-07-07
这篇文章主要介绍了Python3实现统计单词表中每个字母出现频率的方法,涉及Python针对文件的读取、遍历、统计等相关操作技巧,需要的朋友可以参考下2019-01-01
在Python中,格式化字符串输出是一项非常常见的任务,Python提供了多种方式来实现字符串格式化,每种方式都有其独特的优势和用法,下面我们就来学习一下这些方法的具体操作吧2023-11-11
有关一个在函数参数设置缺省值与引用的问题，这个问题是大多数Pythoner可能会忽视的问题，作个笔记，以备后阅，同时供需要的朋友参考2013-02-02
最新评论