脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → pandas or sql计算前后两行数据间的增值

pandas or sql计算前后两行数据间的增值方法

 更新时间：2018年04月20日 16:29:33   作者：tulinying  
下面小编就为大家分享一篇pandas or sql计算前后两行数据间的增值方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

遇到这样一个需求，有一张表，要给这张表新增一个字段delta，delta的值等于每行的c1列的值减去上一行c1列的值。

我的解决方案，可以通过python的pandas的diff来实现，也可以通过sql来实现，如下

import pandas as pd

srcTable = pd.read_csv('pos1.csv')
print(srcTable)
destTable = srcTable.loc[srcTable.tid == 1, ['ts1', 'ts2']].sort_values(by='ts1')
destTable.columns = ['deltaTs1', 'deltaTs2']
destTable = destTable.diff()
destTable = destTable.fillna(0)
destTable['delay'] = destTable['deltaTs2'] - destTable['deltaTs1']
print(destTable)

出来的效果如下：

 tid   ts1   ts2
0 1 1500443161000 1500443161240
1 1 1500443162000 1500443162994
2 1 1500443163000 1500443163067
3 1 1500443164000 1500443164993
 deltaTs1 deltaTs2 delay
0  0.0  0.0 0.0
1 1000.0 1754.0 754.0
2 1000.0  73.0 -927.0
3 1000.0 1926.0 926.0

若是用sql语句，我用的是mysql，自己构造行号rn

mysql> select main.t_id,
main.ts1,
ifnull(main.ts1-sub.ts1,0) deltaTs1,
main.ts2,
ifnull(main.ts2-sub.ts2,0) deltaTs2 from
(SELECT t_id,ts1,ts2,(@r1 :=@r1 + 1) rn FROM pos1,(SELECT @r1 := 0) r where t_id=1 ORDER BY ts1) main
left join 
(SELECT t_id,ts1,ts2,(@r2 :=@r2 + 1) rn FROM pos1,(SELECT @r2 := 0) r where t_id=1 ORDER BY ts1) sub 
on main.rn-1=sub.rn;
+------+---------------+----------+---------------+----------+
| t_id | ts1   | deltaTs1 | ts2   | deltaTs2 |
+------+---------------+----------+---------------+----------+
| 1 | 1500443161000 |  0 | 1500443161240 |  0 |
| 1 | 1500443162000 |  1000 | 1500443162994 |  1754 |
| 1 | 1500443163000 |  1000 | 1500443163067 |  73 |
| 1 | 1500443164000 |  1000 | 1500443164993 |  1926 |
+------+---------------+----------+---------------+----------+

测试数据如下

pos1.csv

1,1500443161000,1500443161240
1,1500443162000,1500443162994
1,1500443163000,1500443163067
1,1500443164000,1500443164993
CREATE TABLE `pos1` (
 `t_id` int(11) DEFAULT NULL,
 `ts1` bigint(22) DEFAULT NULL,
 `ts2` bigint(22) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
INSERT INTO pos1 VALUES (1, 1500443161000, 1500443161240);
INSERT INTO pos1 VALUES (1, 1500443162000, 1500443162994);
INSERT INTO pos1 VALUES (1, 1500443163000, 1500443163067);
INSERT INTO pos1 VALUES (1, 1500443164000, 1500443164993);

貌似有些数据库有这种当前行减去上一行数据的函数，具体我没有研究过。有知道的朋友可以告诉我一下，我印象中像Sqlserver好像有。

您可能感兴趣的文章:

相关文章

  • 使用python绘制cdf的多种实现方法

    使用python绘制cdf的多种实现方法

    今天小编就为大家分享一篇使用python绘制cdf的多种实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • python结束程序运行的四种方法

    python结束程序运行的四种方法

    大家好,小编为大家解答python结束程序的代码用什么符号的问题,很多人还不知道python如何结束程序运行,文中通过代码示例和图文结合的方式介绍的非常详细,现在让我们一起来看看吧
    2024-07-07
  • python怎么判断素数

    python怎么判断素数

    在本篇文章里小编给大家整理了关于python判断素数的方法和代码，需要的朋友们可以学习下。
    2020-07-07
  • Python实现视频中添加音频工具详解

    Python实现视频中添加音频工具详解

    本文主要为大家介绍了Python中提供在无音频的视频中添加音频的工具详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友可以参考一下
    2021-12-12
  • Django 根据数据模型models创建数据表的实例

    Django 根据数据模型models创建数据表的实例

    今天小编就为大家分享一篇Django 根据数据模型models创建数据表的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python使用fliecmp实现比较文件的操作

    Python使用fliecmp实现比较文件的操作

    对于文件的比较一般有几种，比如比较文件的内容，比较文件的大小，或者直接对比整个项目文件，本文就详细的介绍这些方法的实现，感兴趣的可以了解一下
    2021-06-06
  • 基于打开pycharm有带图片md文件卡死问题的解决

    基于打开pycharm有带图片md文件卡死问题的解决

    这篇文章主要介绍了基于打开pycharm有带图片md文件卡死问题的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • 详解Python中数据的多种存储形式

    详解Python中数据的多种存储形式

    这篇文章主要介绍了Python中数据的多种存储形式,主要有JSON 文件存储、CSV 文件存储、关系型数据库存储及非关系型数据库存储，本文给大家介绍的非常详细，需要的朋友可以参考下
    2023-05-05
  • Django RBAC权限管理设计过程详解

    Django RBAC权限管理设计过程详解

    这篇文章主要介绍了Django RBAC权限管理设计过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Pycharm关闭控制台多余窗口的解决办法

    Pycharm关闭控制台多余窗口的解决办法

    这篇文章主要介绍了Pycharm关闭控制台多余窗口的解决办法,文中通过图文结合的方式讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下
    2024-12-12

最新评论