基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

更新时间：2019年05月25日 12:03:49 作者：qq_37138818

这篇文章主要介绍了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作,结合实例形式分析了thinkPHP5框架整合QueryList爬取数据存入mysql相关操作技巧及注意事项,需要的朋友可以参考下

本文实例讲述了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作。分享给大家供大家参考，具体如下：

QueryList4教程地址：

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)
Authentication required (packagist.phpcomposer.com):
Username:

出现这样的情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL\QueryList;
public function qulist(){
  $data = QueryList::get('http://maoyan.com/board/4')
  // 设置采集规则
  ->rules([
    // 爬取图片地址
    "src"=>array(".board-wrapper dd img.board-img","data-src"),
    // 爬取电影名
    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
    // 爬取电影主演信息
    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
    // 爬取上映时间
    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
  ])
  ->query()->getData();
  $excel_array=$data->all();
  var_dump($excel_array);exit;
}

如果没有错的则

如果想继续抓取下一页的数据要根据规律来去

这里我继续抓取20页但是没有那么多就抓取了10页的数据

public function qulist(){
    for($i=0;$i<20;$i++){
      $page=$i*10;
      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)
        // 设置采集规则
        ->rules([
          // 爬取图片地址
          "src"=>array(".board-wrapper dd img.board-img","data-src"),
          // 爬取电影名
          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
          // 爬取电影主演信息
          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
          // 爬取上映时间
          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
        ])
        ->query()->getData();
      $excel_array=$data->all();
      var_dump($excel_array);exit;
    }
}

将数据插入到数据库详细步骤

更多关于thinkPHP相关内容感兴趣的读者可查看本站专题：《ThinkPHP入门教程》、《thinkPHP模板操作技巧总结》、《ThinkPHP常用方法总结》、《codeigniter入门教程》、《CI(CodeIgniter)框架进阶教程》、《Zend FrameWork框架入门教程》及《PHP模板技术总结》。

希望本文所述对大家基于ThinkPHP框架的PHP程序设计有所帮助。

您可能感兴趣的文章:

PHP实现一个轻量级容器的方法
这篇文章主要介绍了PHP实现一个轻量级容器的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-01-01
thinkPHP5框架闭包函数与子查询传参用法示例
这篇文章主要介绍了thinkPHP5框架闭包函数与子查询传参用法,结合实例形式分析了thinkPHP5闭包查询与参数传递相关操作技巧,需要的朋友可以参考下
2018-08-08
PHP判断表单复选框选中状态完整例子
这篇文章主要介绍了PHP判断表单复选框选中状态完整例子,重点在于讲解如何处理表单复选框,如何获取复选框的值,需要的朋友可以参考下
2014-06-06
dhtmlxTree目录树增加右键菜单以及拖拽排序的实现方法
本篇文章介绍了，dhtmlxTree目录树增加右键菜单以及拖拽排序的实现方法。需要的朋友参考下
2013-04-04
PHP三种方式实现链式操作详解
在php中有很多字符串函数，本篇文章主要介绍了PHP三种方式实现链式操作详解，具有一定的参考价值，有兴趣的可以了解一下。
2017-01-01
php去除头尾空格的2种方法
这篇文章主要介绍了php去除头尾空格的2种方法,本文给出了用preg_replace替换、trim函数两种方法并给出了示例,需要的朋友可以参考下
2015-03-03
PHP表单数据写入MySQL数据库的代码
这篇文章主要介绍了PHP表单数据写入MySQL数据库的相关资料非常不错具有参考借鉴价值,需要的朋友可以参考下
2016-05-05
析构函数与php的垃圾回收机制详解
在PHP中，没有任何变量指向这个对象时，这个对象就成为垃圾。PHP会将其在内存中销毁。这是PHP的GC(Garbage Collector)垃圾处理机制，防止内存溢出
2013-10-10
PHP fopen中文文件名乱码问题解决方案
这篇文章主要介绍了PHP fopen中文文件名乱码问题解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-10-10
Zend Framework框架路由机制代码分析
这篇文章主要介绍了Zend Framework框架路由机制,结合代码分析了Zend Framework路由机制所涉及的控制器,路由器原理与相关代码实现技巧,需要的朋友可以参考下
2016-03-03