go语言实现抓取高清图片

 更新时间:2015年03月20日 10:17:56   投稿:hebedich  
本文给大家分享的是使用go语言实现的抓取高清美女图片的代码,原理非常简单,这里就不多废话了,主要是看到很多小伙伴使用python实现的,心血来潮就用go写了下,推荐给大家。

看到有很多python 的,然后写了个go 的,可以抓取高清图片

 getp.go

复制代码 代码如下:

package main
import (
    "io/ioutil"
    "log"
    "net/http"
    "os"
    "regexp"
    "strconv"
    "strings"
    "sync"
)
var urlist [4]string
var album chan string
var w sync.WaitGroup
var dir string
func main() {
    dir = "tmp/"
    err := os.Mkdir(dir, 0777)
    if err != nil {
        isexist := os.IsExist(err)
        log.Println(isexist)
    }
    album = make(chan string, 200)
    urlist = [4]string{"http://me2-sex.lofter.com/tag/%E7%BE%8E%E5%A5%B3%E6%91%84%E5%BD%B1?page=", "http://me2-sex.lofter.com/tag/%E6%AC%A7%E7%BE%8E?page=", "http://me2-sex.lofter.com/tag/%E6%A8%A1%E7%89%B9?page=", "http://me2-sex.lofter.com/tag/%E7%BE%8E%E5%AA%9B%E9%A6%86?page="}
    for _, v := range urlist {
        for i := 1; i <= 20; i++ {
            url := v + strconv.Itoa(i)
            w.Add(1)
            go GetAlbum(url)
            w.Wait()
        }
    }
}
func GetAlbum(url string) {
    data := GetUrl(url)
    body := string(data)
    part := regexp.MustCompile(`<a class="img" href="(.*)">`)
    match := part.FindAllStringSubmatch(body, -1)
    for _, v := range match {
        album <- v[1]
        w.Add(1)
        go GetItem()
    }
    w.Done()
}
func GetItem() {
    url := <-album
    defer func() {
        ret := recover()
        if ret != nil {
            log.Println(ret)
            w.Done()
        } else {
            w.Done()
        }
    }()
    data := GetUrl(url)
    if len(data) > 10 {
        body := string(data)
        part := regexp.MustCompile(`bigimgsrc="(.*)"`)
        match := part.FindAllStringSubmatch(body, -1)
        for _, v := range match {
            str := strings.Split(v[1], "/")
            length := len(str)
            source := GetUrl(v[1])
            name := str[length-1]
            file, err := os.Create(dir + name)
            if err != nil {
                panic(err)
            }
            size, err := file.Write(source)
            defer file.Close()
            if err != nil {
                panic(err)
            }
            log.Println(size)
        }
    }
}
func GetUrl(url string) []byte {
    ret, err := http.Get(url)
    if err != nil {
        log.Println(url)
        status := map[string]string{}
        status["status"] = "400"
        status["url"] = url
        panic(status)
    }
    body := ret.Body
    data, _ := ioutil.ReadAll(body)
    return data
}

以上所述就是本文的全部内容了,希望对大家熟悉go语言能够有所帮助。

相关文章

  • golang中strconv.ParseInt函数用法示例

    golang中strconv.ParseInt函数用法示例

    这篇文章主要介绍了golang中strconv.ParseInt函数用法,实例分析了strconv.ParseInt函数将字符串转换为数字的简单使用方法,需要的朋友可以参考下
    2016-07-07
  • Go语言实现猜数字小游戏

    Go语言实现猜数字小游戏

    这篇文章主要为大家详细介绍了Go语言实现猜数字小游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-10-10
  • Golang中的变量学习小结

    Golang中的变量学习小结

    本文主要带大家学习了Golang里面的四大类型的变量,十分的详细,有需要的小伙伴可以参考下
    2018-10-10
  • golang beego框架路由ORM增删改查完整案例

    golang beego框架路由ORM增删改查完整案例

    这篇文章主要为大家介绍了golang beego框架路由ORM增删改查完整案例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪
    2022-04-04
  • Go中使用单调时钟获得准确的时间间隔问题

    Go中使用单调时钟获得准确的时间间隔问题

    这篇文章主要介绍了Go中使用单调时钟获得准确的时间间隔,在go语言中,没有直接调用时钟的函数,可以通过 time.Now() 获得带单调时钟的 Time 结构体,并通过Since和Until获得相对准确的时间间隔,需要的朋友可以参考下
    2022-06-06
  • golang遍历时修改被遍历对象的示例详解

    golang遍历时修改被遍历对象的示例详解

    这篇文章主要介绍了golang遍历时修改被遍历对象的示例代码,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • 一文搞懂Golang 值传递还是引用传递

    一文搞懂Golang 值传递还是引用传递

    最多人犯迷糊的就是 slice、map、chan 等类型,都会认为是 “引用传递”,从而认为 Go 语言的 xxx 就是引用传递。正因为它们还引用类型(指针、map、slice、chan等这些),这样就可以修改原内容数据,这篇文章主要介绍了Golang 值传递还是引用传递,需要的朋友可以参考下
    2023-01-01
  • Golang sync.Map原理深入分析讲解

    Golang sync.Map原理深入分析讲解

    go中map数据结构不是线程安全的,即多个goroutine同时操作一个map,则会报错,因此go1.9之后诞生了sync.Map,sync.Map思路来自java的ConcurrentHashMap
    2022-12-12
  • 基于Golang实现统一加载资源的入口

    基于Golang实现统一加载资源的入口

    当我们需要在 main 函数中做一些初始化的工作,比如初始化日志,初始化配置文件,都需要统一初始化入口函数,所以本文就来编写一个统一加载资源的入口吧
    2023-05-05
  • go语言实现猜数字小游戏的方法

    go语言实现猜数字小游戏的方法

    这篇文章主要介绍了go语言实现猜数字小游戏的方法,实例分析了Go语言流程判断与处理的技巧,需要的朋友可以参考下
    2015-03-03

最新评论