获取python运行输出的数据并解析存为dataFrame实例

更新时间：2020年07月07日 18:21:57 作者：喝粥也会胖的唐僧

这篇文章主要介绍了获取python运行输出的数据并解析存为dataFrame实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在学习xg的时候，想画学习曲线，但无奈没有没有这个 evals_result_

AttributeError: 'Booster' object has no attribute 'evals_result_'

因为不是用的分类器或者回归器，而且是使用的train而不是fit进行训练的，看过源码fit才有evals_result_这个，导致训练后没有这个，但是又想获取学习曲线，因此肯定还需要获取训练数据。

运行的结果上面有数据，于是就想自己解析屏幕的数据试一下，屏幕可以看到有我们迭代过程的数据，因此想直接获取屏幕上的数据，思维比较low但是简单粗暴。

接下来分两步完成：

1) 获取屏幕数据

import subprocess
import pandas as pd
top_info = subprocess.Popen(["python", "main.py"], stdout=subprocess.PIPE)
out, err = top_info.communicate()
out_info = out.decode('unicode-escape')
lines=out_info.split('\n')

注：这里的main.py就是自己之前执行的python文件

2) 解析文件数据:

ln=0
lst=dict()
for line in lines:
 if line.strip().startswith('[{}] train-auc:'.format(ln)):
 if ln not in lst.keys():
  lst.setdefault(ln, {})
 tmp = line.split('\t')
 t1=tmp[1].split(':')
 t2=tmp[2].split(':')
 if str(t1[0]) not in lst[ln].keys():
  lst[ln].setdefault(str(t1[0]), 0)
 if str(t2[0]) not in lst[ln].keys():
  lst[ln].setdefault(str(t2[0]), 0)
 lst[ln][str(t1[0])]=t1[1]
 lst[ln][str(t2[0])]=t2[1]
 ln+=1
json_df=pd.DataFrame(pd.DataFrame(lst).values.T, index=pd.DataFrame(lst).columns, columns=pd.DataFrame(lst).index).reset_index()
json_df.columns=['numIter','eval-auc','train-auc']
print(json_df)

整体代码：

import subprocess
import pandas as pd
top_info = subprocess.Popen(["python", "main.py"], stdout=subprocess.PIPE)
out, err = top_info.communicate()
out_info = out.decode('unicode-escape')
lines=out_info.split('\n')
 
ln=0
lst=dict()
for line in lines:
    if line.strip().startswith('[{}]    train-auc:'.format(ln)):
        if ln not in lst.keys():
            lst.setdefault(ln, {})
        tmp = line.split('\t')
        t1=tmp[1].split(':')
        t2=tmp[2].split(':')
        if str(t1[0]) not in lst[ln].keys():
            lst[ln].setdefault(str(t1[0]), 0)
        if str(t2[0]) not in lst[ln].keys():
            lst[ln].setdefault(str(t2[0]), 0)
        lst[ln][str(t1[0])]=t1[1]
        lst[ln][str(t2[0])]=t2[1]
        ln+=1
json_df=pd.DataFrame(pd.DataFrame(lst).values.T, index=pd.DataFrame(lst).columns, columns=pd.DataFrame(lst).index).reset_index()
json_df.columns=['numIter','eval-auc','train-auc']
print(json_df)

看下效果：

以上这篇获取python运行输出的数据并解析存为dataFrame实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python3直接爬取图片URL并保存示例
今天小编就为大家分享一篇Python3直接爬取图片URL并保存示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
OpenCV 使用imread()函数读取图片的六种正确姿势
这篇文章主要介绍了OpenCV 使用imread()函数读取图片的六种正确姿势，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-07-07
Python安装whl文件过程图解
这篇文章主要介绍了Python安装whl文件过程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-02-02
python如何实现图片重命名并保存
这篇文章主要介绍了python如何实现图片重命名并保存问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-06-06
python一键去抖音视频水印工具
抖音越来越火，越刷越上瘾，总感觉下一个视频一定会更精彩，根本停不下来。想将抖音里喜欢的小哥哥/小姐姐的视频全部存到电脑硬盘里，还没有抖音的视频水印，跟着小编来看看吧
2018-09-09
Python统计列表中每个元素出现次数的4种实现
本文主要介绍了Python统计列表中每个元素出现次数的4种实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-07-07
python 使用re.search()筛选后选取部分结果的方法
今天小编就为大家分享一篇python 使用re.search()筛选后选取部分结果的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-11-11
Python实现自动玩贪吃蛇程序
这篇文章主要介绍了通过Python实现的简易的自动玩贪吃蛇游戏的小程序，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学一学
2022-01-01
解决Pycharm 导入其他文件夹源码的2种方法
今天小编就为大家分享一篇解决Pycharm 导入其他文件夹源码的2种方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-02-02
详解Python中对Excel的处理操作
Excel是一种常见的电子表格文件格式，广泛用于数据记录和处理，Python提供了多个第三方库，可以方便地对Excel操作，下面就来和大家详细讲讲吧
2023-07-07

获取python运行输出的数据并解析存为dataFrame实例

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具