脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python文件读写分隔符

使用Python文件读写,自定义分隔符(custom delimiter)

 更新时间：2020年07月05日 14:38:47   作者：__孤独患者__  
这篇文章主要介绍了使用Python文件读写,自定义分隔符(custom delimiter)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

众所周知，python文件读取文件的时候所支持的newlines（即换行符），是指定的。这一点不管是从python的doucuments上还是在python的源码中（作者是参考了python的io版本，并没有阅读C版本），都可以看出来：

if newline is not None and not isinstance(newline, str):
 raise TypeError("illegal newline type: %r" % (type(newline),))
if newline not in (None, "", "\n", "\r", "\r\n"):
 raise ValueError("illegal newline value: %r" % (newline,))

好吧，问题来了，如果你恰好是个苦逼的生物狗，正在用python处理所谓的fastq格式的测序结果文件，每次只读一行往往不是你想要的。Ok, 我们也都知道其实这个问题在Perl里面十分好解决，无非就是重新定义下文件的分割符（$/,The input record separator, newline by default. Set undef to read through the end of file.）

local $/;   # enable "slurp" mode
local $_ = <FH>; # whole file now here
s/\n[ \t]+/ /g;

简单粗暴有效！《Programming Perl》开头的那些关于什么是happiness定义看来所言非虚，所以你只要需要将$/定义为fastq格式的分隔符就ok了。

但是，如果是Python呢？（容易钻牛角尖的孩纸，又或者是不喜欢花括号的孩子…..反正就是强行高端了）。终于要进入正题了，OK，在python中又有两种方式解决这个问题，看你个人喜好选择了（当然要是有大神知道四种、五种方法，也不妨指导一下我这个小菜鸟）。

方案一的代码：

import _pyio
import io
import functools
class MyTextWrapper(_pyio.TextIOWrapper):
 def readrecod(self, sep):
   readnl, self._readnl = self._readnl, sep
   self._readtranslate = False
   self._readuniversal = False
   try:
     return self.readline()
   finally:
     self._readnl = readnl
#class MyTextWrapper(_pyio.TextIOWrapper):
# def __init__(self, *args, separator, **kwargs):
#  super().__init__(*args,**kwargs)
#  self._readnl = separator
#  self._readtranslate = False
#  self._readuniversal = False
#  print("{}:\t{}".format(self,self._readnl))

f = io.open('data',mode='rt')
#f = MyTextWrapper(f.detach(),separator = '>')
#print(f._readnl)
f = MyTextWrapper(f.detach())
records=iter(functools.partial(f.readrecod, '>'), '')
for r in records:
 print(r.strip('>'))
 print("###")

Ok，这是Python3.x中的方法（亲测），那么在Python2.x中需要改动的地方，目测好像是（没有亲测）

super(MyTextWrapper,self).__init__(*args,**kwargs)

这个方法看上去还是比较elegant，但是efficient 吗？答案恐怕并不，毕竟放弃了C模块的速度优势，但是OOP写起来还是比较舒服的。对了值得指出的Python的I/O是一个layer一个layer的累加起来的。从这里我们就能看出来。当然里面的继承关系还是值得研究一下的，从最开始的IOBase一直到最后的TextIOWrapper,这里面的故事，还是要看一看的。

方案二的代码：

#!/usr/bin/env python

def delimited(file, delimiter = '\n', bufsize = 4096):
 buf = ''
 while True:
  newbuf = file.read(bufsize)
  if not newbuf:
   yield buf
   return
  buf += newbuf
  lines = buf.split(delimiter)
  for line in lines[:-1]:
   yield line
  buf = lines[-1]

with open('data', 'rt') as f:
 lines = delimited(f, '>', bufsize = 1)
 for line in lines:
  print line,
  print '######'

Ok,这里用到了所谓的generator函数，优雅程度也还行，至于效率么，请自行比较和测试吧（毕竟好多生物程序猿是不关心效率的…..)。如此一来，比Perl多敲了好多代码，唉，怀念Perl的时代啊，简单粗暴有效，就是幸福的哲学么。

当然还有童鞋要问，那么能不能又elegant还efficient（我可是一个高端的生物程序猿，我要强行高端！）答案是有的，请用Cython! 问题又来了，都Cython了，为什么不直接用C呢？确实，C语言优美又混乱。

补充知识：Python.json.常见两个错误处理(Expecting , delimiter)(Invalid control character at)

ValueError: Invalid control character at: line 1 column 122(char 123)

出现错误的原因是字符串中包含了回车符（\r）或者换行符（\n）

解决方案：

转义

json_data = json_data.replace('\r', '\\r').replace('\n', '\\n')

使用关键字strict

json.loads(json_data, strict=False)

ValueError: Expecting , delimiter: line 13 column 650 (char 4186)

原因：json数据不合法，类似“group_buy_create_description_text”: “1. Select the blue “Buy” button to let other shoppers buy with you.这样的内容出现在json数据中。

解决方案：

将类似的情形通过正则筛选出来通过下面的方式处理。

正则表达式如下：

json_data = json_data.replace('""', '"########"')

js_str = '"[\s\S]+?":\s?"([\s\S]+?)"\}?\}?\]?,'

后续使用中发现无法匹配value为空的情况，故先做一下预处理

这个正则可以匹配到大部分的key，value中的value值，但是也有例外，暂时的处理方法是如果匹配结果中包含”{“, “}”, “[“, “]”这样的字符，说明是匹配失败结果，跳过处理。其他的使用下边的方法替换掉可能出问题的字符。

如果大家有更好的正则匹配方式，欢迎随时批评指正。

def htmlEscape(input) {
    if not input
      return input;
    input = input.replace("&", "&amp;");
    input = input.replace("<", "&lt;");
    input = input.replace(">", "&gt;");
    input = input.replace(" ", "&nbsp;");
    input = input.replace("'", "&#39;");  //IE暂不支持单引号的实体名称,而支持单引号的实体编号,故单引号转义成实体编号,其它字符转义成实体名称
    input = input.replace("\"", "&quot;"); //双引号也需要转义，所以加一个斜线对其进行转义
    input = input.replace("\n", "<br/>"); //不能把\n的过滤放在前面，因为还要对<和>过滤，这样就会导致<br/>失效了
    return input;
  }

以上这篇使用Python文件读写,自定义分隔符(custom delimiter)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Django filter动态过滤与排序实现过程解析

    Django filter动态过滤与排序实现过程解析

    这篇文章主要介绍了Django filter动态过滤与排序实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • Pytorch模型定义与深度学习自查手册

    Pytorch模型定义与深度学习自查手册

    这篇文章主要为大家介绍了Pytorch模型定义与深度学习的自查手册，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-06-06
  • python属于软件吗

    python属于软件吗

    在本篇内容里小编给Python新手整理了关于python是软件吗的相关知识点，有兴趣的朋友们可以阅读下。
    2020-06-06
  • Python绘制计算机CPU占有率变化的折线图

    Python绘制计算机CPU占有率变化的折线图

    这篇文章主要为大家详细介绍了Python绘制计算机CPU占有率变化的折线图，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-03-03
  • Django使用echarts进行可视化展示的实践

    Django使用echarts进行可视化展示的实践

    可视化是将数据转换成图形或图像在屏幕上显示出来，本文主要介绍了Django使用echarts进行可视化展示的实践，感兴趣的可以了解一下
    2021-06-06
  • Python 创建格式化字符串方法

    Python 创建格式化字符串方法

    这篇文章主要介绍了Python 创建格式化字符串方法，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
    2022-08-08
  • Python六大开源框架对比

    Python六大开源框架对比

    在这篇文章里，我们将为Python Web开发者回顾基于Python的6大Web应用框架。无论你是出于爱好还是需求，这六大框架都可能会成为你工作上不错的得力助手。
    2015-10-10
  • python解压缩文件或文件夹两种常见方式(附代码)

    python解压缩文件或文件夹两种常见方式(附代码)

    这篇文章主要介绍了python解压缩文件或文件夹两种常见方式,Python的zipfile和shutil模块提供了强大的文件和文件夹压缩与解压缩功能,zipfile模块适合精细控制,而shutil模块则快速简单,文中提供了详细的代码示例,需要的朋友可以参考下
    2025-04-04
  • 14个Python处理Excel的常用操作分享

    14个Python处理Excel的常用操作分享

    自从学了Python后就逼迫用Python来处理Excel，所有操作用Python实现。目的是巩固Python，与增强数据处理能力。本文为大家整理了14个Python处理Excel的常用操作，非常好用，希望对大家有所帮助
    2023-03-03
  • python中entry用法讲解

    python中entry用法讲解

    在本篇文章里小编给大家整理的是一篇关于python中entry用法讲解内容，有兴趣的朋友们可以学习参考下。
    2020-12-12

最新评论