Python中struct模块对字节流/二进制流的操作教程

 更新时间:2017年01月21日 14:25:29   作者:monitor1379  
最近在学习python网络编程这一块,在写简单的socket通信代码时,遇到了struct这个模块的使用,当时不太清楚这到底有和作用,后来查阅了相关资料大概了解了,这篇文章就主要介绍了Python中struct模块对字节流/二进制流的操作,需要的朋友可以参考借鉴。

前言

最近使用Python解析IDX文件格式的MNIST数据集,需要对二进制文件进行读取操作,其中我使用的是struct模块。查了网上挺多教程都写的挺好的,不过对新手不是很友好,所以我重新整理了一些笔记以供快速上手。

注:教程中以下四个名词同义:二进制流、二进制数组、字节流、字节数组

快速上手

在struct模块中,将一个整型数字、浮点型数字或字符流(字符数组)转换为字节流(字节数组)时,需要使用格式化字符串fmt告诉struct模块被转换的对象是什么类型,比如整型数字是'i',浮点型数字是'f',一个ascii码字符是's'。

def demo1():
 # 使用bin_buf = struct.pack(fmt, buf)将buf为二进制数组bin_buf
 # 使用buf = struct.unpack(fmt, bin_buf)将bin_buf二进制数组反转换回buf

 # 整型数 -> 二进制流
 buf1 = 256
 bin_buf1 = struct.pack('i', buf1) # 'i'代表'integer'
 ret1 = struct.unpack('i', bin_buf1)
 print bin_buf1, ' <====> ', ret1

 # 浮点数 -> 二进制流
 buf2 = 3.1415
 bin_buf2 = struct.pack('d', buf2) # 'd'代表'double'
 ret2 = struct.unpack('d', bin_buf2)
 print bin_buf2, ' <====> ', ret2

 # 字符串 -> 二进制流
 buf3 = 'Hello World'
 bin_buf3 = struct.pack('11s', buf3) # '11s'代表长度为11的'string'字符数组
 ret3 = struct.unpack('11s', bin_buf3)
 print bin_buf3, ' <====> ', ret3

 # 结构体 -> 二进制流
 # 假设有一个结构体
 # struct header {
 # int buf1;
 # double buf2;
 # char buf3[11];
 # }
 bin_buf_all = struct.pack('id11s', buf1, buf2, buf3)
 ret_all = struct.unpack('id11s', bin_buf_all)
 print bin_buf_all, ' <====> ', ret_all

输出结果如下:


demo1输出结果

详解struct模块

主要函数

struct模块中最重要的三个函数是pack() , unpack() , calcsize()

# 按照给定的格式化字符串,把数据封装成字符串(实际上是类似于c结构体的字节流)
string = struct.pack(fmt, v1, v2, ...)

# 按照给定的格式(fmt)解析字节流string,返回解析出来的tuple
tuple = unpack(fmt, string)

# 计算给定的格式(fmt)占用多少字节的内存
offset = calcsize(fmt)

struct中的格式化字符串

struct中支持的格式如下表:

Format C Type Python 字节数
x pad byte no value 1
c char string of length 1 1
b signed char integer 1
B unsigned char integer 1
? _Bool bool 1
h short integer 2
H unsigned short integer 2
i int integer 4
I unsigned int integer or lon 4
l long integer 4
L unsigned long long 4
q long long long 8
Q unsigned long long long 8
f float float 4
d double float 8
s char[] string 1
p char[] string 1
P void * long  

      注1:q和Q只在机器支持64位操作时有意思

      注2:每个格式前可以有一个数字,表示个数

      注3:s格式表示一定长度的字符串,4s表示长度为4的字符串,但是p表示的是pascal字符串

      注4:P用来转换一个指针,其长度和机器字长相关

      注5:最后一个可以用来表示指针类型的,占4个字节

为了同c中的结构体交换数据,还要考虑有的c或c++编译器使用了字节对齐,通常是以4个字节为单位的32位系统,故而struct根据本地机器字节顺序转换.可以用格式中的第一个字符来改变对齐方式.定义如下:

Character Byte order Size and alignment
@ native native 凑够4个字节
= native standard 按原字节数
< little-endian standard 按原字节数
> big-endian standard 按原字节数
! network (= big-endian) standard 按原字节数

使用方法是放在fmt的第一个位置,就像'@5s6sif'

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助如果有疑问大家可以留言交流。

相关文章

  • 基于Python+Tkinter实现一个简易计算器

    基于Python+Tkinter实现一个简易计算器

    Tkinter作为Python的标准库,是非常流行的Python GUI工具,同时也是非常容易学习的。本文将利用Tkinter绘制一个简单的计算器,感兴趣的可以试一试
    2022-01-01
  • Python利用filestools模块实现水印添加

    Python利用filestools模块实现水印添加

    最近发现的这款filestools非标准库其实真正实现添加水印的只要一个函数的调用,一行代码即可完成水印的添加,感兴趣的快跟随小编一起学起来吧
    2022-09-09
  • 基于Python编写一个监控CPU的应用系统

    基于Python编写一个监控CPU的应用系统

    在使用电脑办公时,有时候不知道哪些软件或进程会占用大量的资源,导致进行其他任务时出现变慢、卡顿等现象。因此,实时监控系统的资源就变得非常重要。本文用Python编写了一款超治愈的RunCat监控应用系统,需要的可以参考一下
    2022-06-06
  • Python 解释器的站点配置和模块搜索路径详解

    Python 解释器的站点配置和模块搜索路径详解

    Python 解释器的站点配置是指一组配置和路径设置,用于支持特定于站点的定制和扩展,这些配置和路径信息由 Python 的内置 site 模块提供,这篇文章主要介绍了Python 解释器的站点配置和模块搜索路径详解,需要的朋友可以参考下
    2022-01-01
  • python网络爬虫实现个性化音乐播放器示例解析

    python网络爬虫实现个性化音乐播放器示例解析

    这篇文章主要为大家介绍了使用python网络爬虫实现个性化音乐播放器的详细示例代码以及内容解析,有需要的朋友 可以借鉴参考下希望能够有所帮助
    2022-03-03
  • python高阶函数functools模块的具体使用

    python高阶函数functools模块的具体使用

    本文主要介绍了python高阶函数functools模块的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • Python字符串匹配之6种方法的使用详解

    Python字符串匹配之6种方法的使用详解

    这篇文章主要介绍了Python字符串匹配之6种方法的使用详解,在文末给大家提到了python正则表达的说明,感兴趣的朋友跟随小编一起学习吧
    2019-04-04
  • Python实现向QQ群成员自动发邮件的方法

    Python实现向QQ群成员自动发邮件的方法

    这篇文章主要介绍了Python实现向QQ群成员自动发邮件的方法,通过读取txt文本里的QQ成员数据再调用发送邮件函数实现该功能,是非常实用的技巧,需要的朋友可以参考下
    2014-11-11
  • 使用keras框架cnn+ctc_loss识别不定长字符图片操作

    使用keras框架cnn+ctc_loss识别不定长字符图片操作

    这篇文章主要介绍了使用keras框架cnn+ctc_loss识别不定长字符图片操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • python实现机器学习之多元线性回归

    python实现机器学习之多元线性回归

    这篇文章主要为大家详细介绍了python实现机器学习之多元线性回归,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-09-09

最新评论