脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python获得github代码库列表

python使用心得之获得github代码库列表

 更新时间：2014年06月25日 17:26:52   投稿：hebedich  
最近接了个项目，要求获得github的repo的api，度娘了一下，有不少文章介绍，总结了本文，分享给大家并附上代码

1.背景

项目需求，要求获得github的repo的api，以便可以提取repo的数据进行分析。研究了一天，终于解决了这个问题，虽然效率还是比较低下。

因为github的那个显示repo的api，列出了每个repo的详细信息，而且是json格式的。现在貌似还没有找到可以分析多个json格式数据的方法，所以用的是比较蠢得splite加re的方法。如果大家有更好的方法，不发留言讨论！

2.代码

import re
import os

def GetUrl(num):
 str = os.popen("curl -G https://api.github.com/repositories?since=%d"%(num)).read()
 pattern = '"url"'
 pattern1='repos'
 urls=str.split(',\n')  
 for i in urls:
  if pattern in i and pattern1 in i:   
#  text1=i.splite(':')
  text=re.compile('"(.*?)"').findall(i)[1]
  print text
if __name__=='__main__':
 GetUrl(1000)

    其中num的值指的是页面的id，我们可以做一个循环，不断增大num的值，就可以无限提取repo。因为github的api对于流量是有限制的，所以这么做是一个可行的方法。

效果如下（提取下来的repo的api地址）：

https://api.github.com/repos/wycats/merb-core

https://api.github.com/repos/rubinius/rubinius

https://api.github.com/repos/mojombo/god

https://api.github.com/repos/vanpelt/jsawesome

https://api.github.com/repos/wycats/jspec

https://api.github.com/repos/defunkt/exception_logger

https://api.github.com/repos/defunkt/ambition

https://api.github.com/repos/technoweenie/restful-authentication

https://api.github.com/repos/technoweenie/attachment_fu

https://api.github.com/repos/topfunky/bong

https://api.github.com/repos/Caged/microsis

https://api.github.com/repos/anotherjesse/s3

https://api.github.com/repos/anotherjesse/taboo

https://api.github.com/repos/anotherjesse/foxtracs

https://api.github.com/repos/anotherjesse/fotomatic

https://api.github.com/repos/mojombo/glowstick

https://api.github.com/repos/defunkt/starling

https://api.github.com/repos/wycats/merb-more

https://api.github.com/repos/macournoyer/thin

https://api.github.com/repos/jamesgolick/resource_controller

https://api.github.com/repos/jamesgolick/markaby

https://api.github.com/repos/jamesgolick/enum_field

https://api.github.com/repos/defunkt/subtlety

https://api.github.com/repos/defunkt/zippy

https://api.github.com/repos/defunkt/cache_fu

https://api.github.com/repos/KirinDave/phosphor

您可能感兴趣的文章:

相关文章

  • Python中过滤字符串列表的方法

    Python中过滤字符串列表的方法

    这篇文章主要介绍了Python中过滤字符串列表的方法，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
    2020-12-12
  • 借助Paramiko通过Python实现linux远程登陆及sftp的操作

    借助Paramiko通过Python实现linux远程登陆及sftp的操作

    这篇文章主要介绍了借助Paramiko通过Python实现linux远程登陆及sftp,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-03-03
  • Python使用asyncio标准库对异步IO的支持

    Python使用asyncio标准库对异步IO的支持

    Python中,所有程序的执行都是单线程的,但可同时执行多个任务,不同的任务被时间循环（Event Loop）控制及调度,Asyncio是Python并发编程的一种实现方式；是Python 3.4版本引入的标准库,直接内置了对异步IO的支持
    2023-11-11
  • pytorch GAN生成对抗网络实例

    pytorch GAN生成对抗网络实例

    今天小编就为大家分享一篇pytorch GAN生成对抗网络实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • 详解pandas df.iloc[]的典型用法

    详解pandas df.iloc[]的典型用法

    本文主要介绍了详解pandas df.iloc[]的典型用法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08
  • python 实现手机自动拨打电话的方法(通话压力测试)

    python 实现手机自动拨打电话的方法(通话压力测试)

    今天小编就为大家分享一篇python 实现手机自动拨打电话的方法(通话压力测试)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • Python小技巧练习分享

    Python小技巧练习分享

    这篇文章主要介绍了Python小技巧练习分享，文章基于python的相关内容展开详细的python小技巧内容，具有一定的参考价值，需要的小伙伴可以参考一下
    2022-05-05
  • 浅谈一下Python究竟属不属于嵌入式语言

    浅谈一下Python究竟属不属于嵌入式语言

    这篇文章主要介绍了浅谈一下Python究竟属不属于嵌入式语言,大家普遍的认为C与C++才是标准的嵌入式语言，那么现在大火的Python算是一种嵌入式语言吗,需要的朋友可以参考下
    2023-04-04
  • 一文教会你用Python读取PDF文件

    一文教会你用Python读取PDF文件

    Python 工程师在日常的工作中，经常会碰到解析和处理PDF文件的情况。本文将pdfplumber进行PDF文件的读取操作，感兴趣的可以了解一下
    2022-08-08
  • 通过Python绘制九种二次曲面的示例详解

    通过Python绘制九种二次曲面的示例详解

    这篇文章主要为大家详细介绍了如何通过Python绘制九种二次曲面，文中的示例代码讲解详细，具有一定的学习价值，感兴趣的小伙伴可以跟随小编一起了解一下
    2023-06-06

最新评论