脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → PHP编程 → php实例 → ThinkPHP5框架使用QueryList爬取并存入mysql数据库

基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

 更新时间：2019年05月25日 12:03:49   作者：qq_37138818  
这篇文章主要介绍了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作,结合实例形式分析了thinkPHP5框架整合QueryList爬取数据存入mysql相关操作技巧及注意事项,需要的朋友可以参考下

本文实例讲述了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作。分享给大家供大家参考，具体如下：

QueryList4教程 地址：

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现 以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)
    Authentication required (packagist.phpcomposer.com):
      Username:

出现这样的 情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL\QueryList;
public function qulist(){
  $data = QueryList::get('http://maoyan.com/board/4')
  // 设置采集规则
  ->rules([
    // 爬取图片地址
    "src"=>array(".board-wrapper dd img.board-img","data-src"),
    // 爬取电影名
    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
    // 爬取电影主演信息
    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
    // 爬取上映时间
    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
  ])
  ->query()->getData();
  $excel_array=$data->all();
  var_dump($excel_array);exit;
}

如果没有错的 则

如果想继续抓取下一页的数据 要根据规律来去

这里我继续抓取20页 但是没有那么多就抓取了10页的数据

public function qulist(){
    for($i=0;$i<20;$i++){
      $page=$i*10;
      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)
        // 设置采集规则
        ->rules([
          // 爬取图片地址
          "src"=>array(".board-wrapper dd img.board-img","data-src"),
          // 爬取电影名
          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
          // 爬取电影主演信息
          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
          // 爬取上映时间
          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
        ])
        ->query()->getData();
      $excel_array=$data->all();
      var_dump($excel_array);exit;
    }
}

将数据插入到数据库 详细步骤

更多关于thinkPHP相关内容感兴趣的读者可查看本站专题：《ThinkPHP入门教程》、《thinkPHP模板操作技巧总结》、《ThinkPHP常用方法总结》、《codeigniter入门教程》、《CI(CodeIgniter)框架进阶教程》、《Zend FrameWork框架入门教程》及《PHP模板技术总结》。

希望本文所述对大家基于ThinkPHP框架的PHP程序设计有所帮助。

您可能感兴趣的文章:

相关文章

  • thinkPHP中session()方法用法详解

    thinkPHP中session()方法用法详解

    这篇文章主要介绍了thinkPHP中session()方法用法,结合实例形式分析了thinkPHP中session方法的功能、参数、具体使用方法与相关注意事项,需要的朋友可以参考下
    2016-12-12
  • php版微信公众平台接口开发之智能回复开发教程

    php版微信公众平台接口开发之智能回复开发教程

    这篇文章主要介绍了php版微信公众平台接口开发之智能回复开发,结合实例形式较为详细的分析了只能回复功能的原理与通过微信接口调用具体实现技巧,需要的朋友可以参考下
    2016-09-09
  • php生成唯一uid的解决方法详解

    php生成唯一uid的解决方法详解

    在用户系统中，生成唯一uid，是很多初级程序员头痛的事情，因为你并不能保证完全的唯一性，如果要保证唯一性，必须要查一次数据库。本文将介绍php生成唯一uid的思路，希望能对大家有所帮助
    2021-11-11
  • php实现的IMEI限制的短信验证码发送类

    php实现的IMEI限制的短信验证码发送类

    本文给大家分享的是可以检验手机号码与IMEI的短信验证码发送的php类，十分的实用，这里推荐给大家，有需要的小伙伴可以参考下。
    2015-05-05
  • php解析url的三个示例

    php解析url的三个示例

    这篇文章主要介绍了使用php解析url的三个示例，大家参考使用吧
    2014-01-01
  • PHP实现文件上传后台处理脚本

    PHP实现文件上传后台处理脚本

    这篇文章主要为大家详细介绍了PHP实现文件上传后台处理脚本，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2020-03-03
  • 利用laravel+ajax实现文件上传功能方法示例

    利用laravel+ajax实现文件上传功能方法示例

    最近在做的项目基于Laravel开发,需要用到Ajax上传,查了些资料,自己整理了下可用的方法。下面这篇文章主要给大家介绍了关于利用laravel+ajax实现文件上传功能的相关资料，需要的朋友可以参考借鉴，下面来一起看看吧。
    2017-08-08
  • Windows Apache2.2.11及Php5.2.9-1的安装与配置方法

    Windows Apache2.2.11及Php5.2.9-1的安装与配置方法

    很早就想在自己的机子上搭建PHP的开发环境，今天难得有这个机会，在网上找了一些教程和程序，实践了一把，过程是很艰辛的，因为遇到了很多的问题，在这里总结一下。
    2009-06-06
  • PHP使用glob方法遍历文件夹下所有文件的实例

    PHP使用glob方法遍历文件夹下所有文件的实例

    今天小编就为大家分享一篇PHP使用glob方法遍历文件夹下所有文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • 基于PHP CURL获取邮箱地址的详解

    基于PHP CURL获取邮箱地址的详解

    本篇文章是对PHP利用CURL获取邮箱地址进行了详细的分析介绍，需要的朋友参考下
    2013-06-06

最新评论