Shell逐行读取文件的4种方法

 更新时间:2014年12月27日 10:28:57   投稿:junjie  
这篇文章主要介绍了Shell逐行读取文件的4种方法,本文介绍了while循环法、重定向法、管道法、文件描述符法等一些方法,需要的朋友可以参考下

在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法。为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率。

方法1:while循环中执行效率最高,最常用的方法。

复制代码 代码如下:

function while_read_LINE_bottm(){
While read LINE
do
echo $LINE
done  < $FILENAME
}

注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。

方法2 : 重定向法;管道法: cat $FILENAME | while read LINE

复制代码 代码如下:

Function While_read_LINE(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}

注释:我只所有把这种方式叫做管道法,相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令的输出会作为管道右边命令的输入然后被输入出来。

方法3: 文件描述符法


复制代码 代码如下:

Function while_read_line_fd(){
Exec 3<&0
Exec 0<$FILENAME
While read LINE
Do
Echo $LINE
Exec 0<&<3
}

注释: 这种方法分2步骤,第一,通过将所有内容重定向到文件描述符3来关闭文件描述符0.为此我们用了语法Exec 3<&0 。第二部将输入文件放送到文件描述符0,即标准输入。

方法4    for  循环。


复制代码 代码如下:

function  for_in_file(){
For  i  in  `cat $FILENAME`
do
echo $i
done
}

注释:这种方式是通过for循环的方式来读取文件的内容相比大家很熟悉了,这里不多说。对各个方法进行测试,看那方法的执行效率最高。

首先我们用脚本(脚本见附件)生成一个70000行的文件,文件位置在/scripts/bigfile。然后通过下面的脚本来测试各个方法的执行效率,脚本很简单,不再解释。

复制代码 代码如下:

#!/bin/bash
FILENAME="$1"
TIMEFILE="/tmp/loopfile.out" > $TIMEFILE
SCRIPT=$(basename $0)
function usage(){
echo -e "\nUSAGE: $SCRIPT file \n"
exit 1
}
function while_read_bottm(){
while read LINE
do
echo $LINE
done < $FILENAME
}
function while_read_line(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}
function while_read_line_fd(){
exec 3<&0
exec 0< $FILENAME
while read LINE
do
echo $LINE
done
exec 0<&3
}
function for_in_file(){
for i in  `cat $FILENAME`
do
echo $i
done
}
if [ $# -lt 1 ] ; then
usage
fi
echo -e " \n starting file processing of each method\n"
echo -e "method 1:"
echo -e "function while_read_bottm"
time while_read_bottm >> $TIMEFILE
echo -e "\n"
echo -e "method 2:"
echo -e "function while_read_line "
time while_read_line >> $TIMEFILE
echo -e "\n"
echo -e "method 3:"
echo "function while_read_line_fd"
time while_read_line_fd >>$TIMEFILE
echo -e "\n"
echo -e "method 4:"
echo -e "function  for_in_file"
time  for_in_file >> $TIMEFILE

执行脚本后: [root@localhost shell]# ./while /scripts/bigfile
脚本输出内容:

复制代码 代码如下:

method 1:
function while_read_bottm
real    0m5.689s
user    0m3.399s
sys    0m1.588s
method 2:
function while_read_line
real    0m11.612s
user    0m4.031s
sys    0m4.956s
method 3:
function while_read_line_fd
real    0m5.853s
user    0m3.536s
sys    0m1.469s
method 4:
function  for_in_file
real    0m5.153s
user    0m3.335s
sys    0m1.593s

下面我们对各个方法按照速度进行排序。
复制代码 代码如下:

real    0m5.153s    method 4 (for 循环法)
real    0m5.689s    method 1  (while 釜底抽薪法)
real    0m5.853s    method 3    (标识符法)
real    0m11.612s  method 2    (管道法)

由此可见在各个方法中,for语句效率最高,而在while循环中读写文件时,
复制代码 代码如下:

while read LINE
do
echo $LINE
done < $FILENAME

方式执行效率最高。

相关文章

  • Linux shell脚本全面学习入门

    Linux shell脚本全面学习入门

    这篇文章主要为大家分享下Linux shell脚本相关的资料,对于linux系统中,shell脚本非常实用并强大
    2013-10-10
  • Linux命令之-rm命令使用示例

    Linux命令之-rm命令使用示例

    今天我要讲的是一个比较危险的命令,rm 命令,你可以没听过 rm 命令,但是删库跑路你不可能没听过吧,所以接下来小编就带大家详细的了解一下Linux 命令 - rm,需要的朋友可以参考下
    2023-07-07
  • shell如何记录用户的IP与命令详解

    shell如何记录用户的IP与命令详解

    这篇文章主要给大家介绍了关于shell是如何记录用户的IP与命令的相关资料,记录用户输入过的命令使用history命令,而记录用户的IP可能稍复杂一些,需要的朋友们下面跟着小编一起来看看吧。
    2017-06-06
  • linux命令查看磁盘空间的方法

    linux命令查看磁盘空间的方法

    这篇文章主要介绍了linux命令查看磁盘空间的方法,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-04-04
  • 使用linux java shell启动脚本

    使用linux java shell启动脚本

    这篇文章主要为大家介绍了使用linux java shell启动脚本,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-07-07
  • GitBook 制作电子书详细教程

    GitBook 制作电子书详细教程

    本文主要介绍GitBook如何制作电子书,在使用过程中经常出现的问题以及解决办法,希望能帮助到有需要的同学
    2016-07-07
  • ubuntu下常用apt命令介绍

    ubuntu下常用apt命令介绍

    这篇文章介绍了ubuntu的常用apt命令,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • Shell脚本自动删除指定大小以上的备份文件

    Shell脚本自动删除指定大小以上的备份文件

    这篇文章主要介绍了Shell脚本自动删除指定大小以上的备份文件,使用本文脚本加入cron后,即可自动腾出空间,需要的朋友可以参考下
    2014-12-12
  • linux下编译boost.python简单方法

    linux下编译boost.python简单方法

    下面小编就为大家带来一篇linux下编译boost.python简单方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03
  • 实时查看系统流量的Shell脚本分享

    实时查看系统流量的Shell脚本分享

    这篇文章主要介绍了实时查看系统流量的Shell脚本分享,本文直接给出实现代码,使用时保存到一个sh文件中并运行即可,需要的朋友可以参考下
    2014-12-12

最新评论