Nginx实现非套路镜像站的踩坑记录

 更新时间:2018年02月03日 14:50:43   作者:周梦康  
这篇文章主要给大家介绍了关于Nginx实现非套路镜像站的踩坑记录,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。

缘起

前几天发现一个电子书非常棒,但是是 github 上的,总是打不开,而正好我的服务器是在香港的,所以我想做一个镜像。下面给大家提供了两种方案,下面话不多说了,来一起看看详细的介绍吧。

方案一

做了如下配置:

location ^~ /book-c/
{
 proxy_pass http://akaedu.github.io/book/;
 proxy_redirect off;
 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection "upgrade";
}

浏览了下,都 ok,但是有几点不太好

  • 如果以后我发现类似的书很好,都要增加一个 nginx 配置。
  • 如果原始网站完全无法访问了,我这边也挂了,不能缓存到我本地服务器。
  • 我想修改网页内容也不太好操作,比如我想加上原作者的版权和原始访问地址说明等。

完全采集过来,我也懒得写脚本去跑,最终走上了下面这段踩坑路。

尝试改进

所以尝试了如下做法

rewrite ^/book-(.*?)/  /index.php?m=Book&a=show&book=$1 last;
class BookAction extends Action{
 private $uri;
 public function show(){
 $book = $_GET['book'];
 if (!method_exists($this,$book)){
  $this->error404();
 }
 try{
  $this->$book();
 }catch (Exception $e){
  $this->error404();
 }
 }

 /**
 * http://akaedu.github.io/book/
 */
 private function c(){
 $baseUrl = "http://akaedu.github.io/book/";
 $url = $baseUrl.$this->uri;
 echo file_get_contents($url);
 }
}

又遇到了一个问题,当我访问 https://mengkang.net/book-c/styles.css 则无法 rewrite 匹配到了。

原因是 nginx 优先匹配了

location ~ .*\.(js|css)?$
{
 expires 12h;
}

正则匹配优先级关系:https://www.jb51.net/article/134233.htm

方案二

添加一条

location ~ /book-.*?/
{
 rewrite ^/book-(.*?)/ /index.php?m=Book&a=show&book=$1 last;
}

location ^~ 不支持正则的,所以没法用

采坑小记

如果是使用的 location ~ /book-.*/ ,根据正则就是贪婪模式,那么

https://mengkang.net/book-c/images/sortsearch.theta.png

匹配到的就是 /book-c/images/ ,也就是说rewrite里面的 $1 就是 c/images ,这样和我们的预期相悖的。

故障:无法匹配到 css 文件

$ wget -S https://mengkang.net/book-c/styles.css -O /dev/null
--2018-02-01 13:13:36-- https://mengkang.net/book-c/styles.css
Resolving mengkang.net... 203.195.188.207
Connecting to mengkang.net|203.195.188.207|:443... connected.
HTTP request sent, awaiting response...
 HTTP/1.1 200 OK
 Server: nginx
 Date: Thu, 01 Feb 2018 05:13:38 GMT
 Content-Type: text/html; charset=UTF-8

所有内容的输出默认都是 text/html ,那么也就是我需要对文件的后缀判断咯。 感觉自己给自己挖坑,不如直接采集得了

<?php
class BookAction extends Action{
 const BOOK_SAVE_DIR = "/data/book/";
 private $uri;
 private $baseUrl;
 private $book;
 private $bookname;
 public function show(){
 $book = $_GET['book'];
 $this->book = $book;
 $this->uri = str_replace("/book-{$book}/","",$_SERVER['REQUEST_URI']);
 if (!method_exists($this,$book)){
  $this->error404();
 }
 try{
  $this->$book();
 }catch (Exception $e){
  $this->error404();
 }
 }
 /**
 * http://akaedu.github.io/book/
 */
 private function c(){
 $this->baseUrl = "http://akaedu.github.io/book/";
 $url = $this->baseUrl.$this->uri;
 $this->output($url);
 }
 private function output($url){
 $ext = pathinfo($url,PATHINFO_EXTENSION);
 if (!$ext) {
  $url = $url."/index.html";
  $ext = "html";
 }
 switch ($ext){
  case "css":
  header("Content-Type: text/css; charset=UTF-8");
  break;
  default:
  header("Content-Type: text/html; charset=UTF-8");
  break;
 }
 // 如果已经缓存
 $filename = self::BOOK_SAVE_DIR.$this->book."/".str_replace($this->baseUrl,"",$url);
 if (file_exists($filename)){
  $data = file_get_contents($filename);
 }else{
  $data = file_get_contents($url);
  $dir = dirname($filename);
  if (!file_exists($dir)){
  mkdir($dir,755,true);
  }
  file_put_contents($filename,$data);
 }
 // 增加原始版权说明
 echo $data;
 }
}

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

相关文章

  • 修改Nginx配置返回指定content-type的方法

    修改Nginx配置返回指定content-type的方法

    nginx作为一个http服务器,在功能实现方面和性能方面都表现的非常优越,下面这篇文章主要给大家介绍了关于修改Nginx配置返回指定content-type的相关资料,需要的朋友可以参考下
    2022-09-09
  • nginx之Http代理和Websocket代理详解

    nginx之Http代理和Websocket代理详解

    本文介绍了在Ubuntu上安装和配置Nginx的步骤,包括启动、停止、重新加载配置、重新打开日志文件、查看进程等常用命令,还详细介绍了Nginx的静态代理和负载均衡功能,包括轮询、最少连接数、iphash和权重等策略
    2025-03-03
  • nginx设置资源请求目录的方式详解

    nginx设置资源请求目录的方式详解

    最近有一个需求.就是url指定路径下访问服务器的静态资源,这篇文章主要给大家介绍了关于nginx设置资源请求目录的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
    2022-05-05
  • nginx下支持PATH_INFO的方法实例详解

    nginx下支持PATH_INFO的方法实例详解

    这篇文章主要介绍了nginx下支持PATH_INFO的方法,结合实例形式详细分析了nginx下使用PATH_INFO模式的具体方法与相关使用技巧,需要的朋友可以参考下
    2016-02-02
  • Linux安装Nginx步骤详解

    Linux安装Nginx步骤详解

    这篇文章主要介绍了Linux安装Nginx步骤,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • Nginx安装后常用功能配置基础篇

    Nginx安装后常用功能配置基础篇

    这篇文章主要介绍了Nginx安装后常用的功能配置,为了在使用中更高效简洁,Nginx安装后通常会进行一些常用的配置,有需要的朋友可以借鉴参考下,希望能够有所帮助
    2022-03-03
  • nginx配置文件使用环境变量的操作方法

    nginx配置文件使用环境变量的操作方法

    Nginx是一款开源代码的高性能HTTP服务器和反向代理服务器,同时支持IMAP/POP3/SMTP代理服务,相较于Apache、lighttpd具有占有内存少,稳定性高等优势,所以深受用户喜爱,今天小编给大家分享nginx配置文件使用环境变量的操作方法,感兴趣的朋友一起看看吧
    2021-06-06
  • Nginx listen 监听端口的实现配置

    Nginx listen 监听端口的实现配置

    本文将介绍Nginx的listen指令及其在配置文件中的应用,通过了解listen指令,我们可以知道Nginx如何监听端口,并配置相应的服务器块来处理进入的请求
    2023-12-12
  • nginx配置访问图片路径以及html静态页面的调取方法

    nginx配置访问图片路径以及html静态页面的调取方法

    这篇文章主要介绍了详解nginx配置访问图片路径以及html静态页面的调取方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。
    2016-12-12
  • Windows下Nginx安装配置教程

    Windows下Nginx安装配置教程

    这篇文章主要为大家介绍了Windows下Nginx安装配置的详细教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-03-03

最新评论