python操作 hbase 数据的方法

 更新时间:2016年12月18日 11:56:44   投稿:jingxian  
下面小编就为大家带来一篇python操作 hbase 数据的方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧

配置 thrift

python使用的包 thrift

个人使用的python 编译器是pycharm community edition. 在工程中设置中,找到project interpreter, 在相应的工程下,找到package,然后选择 “+” 添加, 搜索 hbase-thrift (Python client for HBase Thrift interface),然后安装包。

安装服务器端thrift。

参考官网,同时也可以在本机上安装以终端使用。

thrift Getting Started

也可以参考安装方法 python 调用HBase 范例

首先,安装thrift

下载thrift,这里,我用的是thrift-0.7.0-dev.tar.gz 这个版本

tar xzf thrift-0.7.0-dev.tar.gz
cd thrift-0.7.0-dev
sudo ./configure –with-cpp=no –with-ruby=no
sudo make
sudo make install

然后,到HBase的源码包里,找到

src/main/resources/org/apache/hadoop/hbase/thrift/

执行

thrift –gen py Hbase.thrift
mv gen-py/hbase/ /usr/lib/python2.4/site-packages/ (根据python版本可能有不同)

获取数据示例 1

# coding:utf-8

from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
# from hbase.ttypes import ColumnDescriptor, Mutation, BatchMutation
from hbase.ttypes import *

import csv


def client_conn():
 # Make socket
 transport = TSocket.TSocket('hostname,like:localhost', port)
 # Buffering is critical. Raw sockets are very slow
 transport = TTransport.TBufferedTransport(transport)
 # Wrap in a protocol
 protocol = TBinaryProtocol.TBinaryProtocol(transport)
 # Create a client to use the protocol encoder
 client = Hbase.Client(protocol)
 # Connect!
 transport.open()
 return client

if __name__ == "__main__":

 client = client_conn()

 # r = client.getRowWithColumns('table name', 'row name', ['column name'])
 # print(r[0].columns.get('column name')), type((r[0].columns.get('column name')))

 result = client.getRow("table name","row name")
 data_simple =[]

 # print result[0].columns.items()

 for k, v in result[0].columns.items(): #.keys()
  #data.append((k,v))
  # print type(k),type(v),v.value,,v.timestamp
  data_simple.append((v.timestamp, v.value))

 writer.writerows(data)
 csvfile.close()

 csvfile_simple = open("data_xy_simple.csv", "wb")
 writer_simple = csv.writer(csvfile_simple)
 writer_simple.writerow(["timestamp", "value"])
 writer_simple.writerows(data_simple)
 csvfile_simple.close()

 print "finished"

会基础的python应该知道result是个list,result[0].columns.items()是一个dict 的键值对。可以查询相关资料。或者通过输出变量,观察变量的值与类型。

说明:上面程序中 transport.open()进行链接,在执行完后,还需要断开transport.close()

目前只涉及到读数据,之后还会继续更新其他dbase操作。

以上这篇python操作 hbase 数据的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python彻底删除文件夹及其子文件方式

    Python彻底删除文件夹及其子文件方式

    今天小编就为大家分享一篇Python彻底删除文件夹及其子文件方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • 基于python实现智能用例生成工具

    基于python实现智能用例生成工具

    这篇文章主要为大家详细介绍了如何基于python实现智能用例生成工具,即根据输入的功能点,生成通用测试点,感兴趣的小伙伴可以跟随小编一起了解下
    2023-09-09
  • Python3爬虫里关于识别微博宫格验证码的知识点详解

    Python3爬虫里关于识别微博宫格验证码的知识点详解

    在本篇文章里小编给大家分享了关于Python3爬虫里关于识别微博宫格验证码的知识点,有兴趣的朋友们可以参考下。
    2020-07-07
  • 详解如何使用pip卸载所有已安装的Python包

    详解如何使用pip卸载所有已安装的Python包

    在开发过程中,我们可能会安装许多 Python 包,有时需要彻底清理环境,以便从头开始或者解决冲突问题,下面将介绍如何使用 pip 命令卸载所有已安装的 Python 包,需要的朋友可以参考下
    2024-06-06
  • 如何使用pdb进行Python调试

    如何使用pdb进行Python调试

    本篇教程中,我们主要讲解了pdb中一些基本常用的内容,包括打印表达式使用n(next)和s(step)命令调试代码断点使用unt(until)来继续执行代码显示表达式查找一个函数的调用者,对pdb Python调试相关知识感兴趣的朋友跟随小编一起看看吧
    2021-06-06
  • pytorch DistributedDataParallel 多卡训练结果变差的解决方案

    pytorch DistributedDataParallel 多卡训练结果变差的解决方案

    这篇文章主要介绍了pytorch DistributedDataParallel 多卡训练结果变差的解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-06-06
  • python接口自动化之正则用例参数化的示例详解

    python接口自动化之正则用例参数化的示例详解

    这篇文章主要介绍了python接口自动化之正则用例参数化,它是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配,本文给大家介绍的非常详细,需要的朋友可以参考下
    2022-07-07
  • 使用python的turtle函数绘制一个滑稽表情

    使用python的turtle函数绘制一个滑稽表情

    Turtle库是Python语言中一个很流行的绘制图像的函数库,今天通过实例代码给大家分享使用python的turtle函数绘制一个滑稽表情,一起看看吧
    2020-02-02
  • Python如何使用正则表达式爬取京东商品信息

    Python如何使用正则表达式爬取京东商品信息

    这篇文章主要介绍了Python如何使用正则表达式爬取京东商品信息,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • Python爬取用户观影数据并分析用户与电影之间的隐藏信息!

    Python爬取用户观影数据并分析用户与电影之间的隐藏信息!

    看电影前很多人都喜欢去 『豆瓣』 看影评,所以我爬取44130条 『豆瓣』 的用户观影数据,分析用户之间的关系,电影之间的联系,以及用户和电影之间的隐藏关系,需要的朋友可以参考下
    2021-06-06

最新评论