
最近发现从百度跳转过来的都是很奇怪的域名，捏着鼻子想了想，一直用的是Google搜索问题，针对Google做了很多seo优化，后来了解一下大部分程序员还都是用百度的。想问一句：这么多的广告，几乎搜不到文档，甚至Github源码都搜不到～，怎么忍受的了～。

万般无奈，从Google跳过来的人着实比较少，也没有其他的入口可以让大家看到了～



问题：百度已经收录页面，虽然链接域名不对但是也不能放弃这些可怜的入口，毕竟是技术能解决的问题，如何能让百度继续保持收录？

首先为什么会有奇怪的域名，站点入口是通过kong网关代理转发流量的。肯定出在kong的配置上了。没有限制Hosts导致douyacun.com下的任意子域名只要路径正确都可以访问到，这是SEO的大忌～

<img src="/images/blog/1/kong/assert/image-20210112233458514.png" alt="image-20210112233458514" style="zoom:50%;" />

那为啥Google的收录都是正常的？其实Google我一直都是提交的sitemap。其实Google也爬了很多其他域名的链接～



问题：那kong如何实现域名301跳转？

- 官方给出的是插件: `https://docs.konghq.com/hub/kong-inc/forward-proxy/` 企业付费插件

- github 给出的方案就是：https://github.com/Kong/kong/issues/3503 修改`nginx_kong.lua`模板

其他问题：

1. docker部署的kong套装～
2. 多个域名，不能用`server_name` 去匹配了～

第一个问题：使用逻辑卷挂载本地 `nginx_kong.lua` 到容器中去～，注意不能直接修改 kong/nginx-kong.conf ，一旦kong重启执行 nginx_kong.lua 生成新的nginx-kong.conf配置

第二个问题：多个域名匹配，这其实是nginx的事情了～，在 `location /` 根路径下判断域名是否需要重定向，注意 if 不支持 or / and，要用正则匹配，简单贴一下代码:

```nginx
....
location / {
  if ( $host ~ "(^douyacun.com$|^server.douyacun.com$|^7www.douyacun.com$|^rank.chinaz.comwww.douyacun.com$)") {
    rewrite ^/(.*) https://www.douyacun.com/$1 permanent;
    break;
  }
  ....
}
```



kong没有提供重定向的配置功能，唯一的插件也是需要企业版

kong 302/301重定向，保住百度已收录的链接


![kong http log](/images/blog/1/kong/assert/137287054_2480479648928442_6391221166333310365_n.jpg)

背景：博客文章SEO优化，百度和Google的收录速度比较慢，需要统计百度和Goole爬虫每天的请求量，博客使用kong作为网关层，代理请求服务

分析：

- 为了避免跨域，后端服务和前端服务均使用同一域名，kong 根据 path 路由到不同 service 上
- 统计爬虫的请求，正常用户请求需要过滤掉，爬虫会在 User-Agent 指明来自哪里
- 数据存储与报表展示，这里因为后端使用的es存储配套kibana，图表的展示做起来也相对简单

#### kong日志插件 http-log

首先要解决的是不同域名，不同路径，而kong的插件是支持到**路由**层级的。

请求方法：post/put/patch 

http endpoint：接收日志的接口地址（此路由已经限制ip了）

![image-20210116132443906](/images/blog/1/kong/assert/image-20210116132443906.png)

#### 统计爬虫请求

通过 User-Agent 来识别各大搜索引擎的爬虫，贴下 http-log 插件发送过来的原始数据（只是请求部分，全部太长了）

```json
{
    "request": {
        "querystring": {},
        "size": 458,
        "uri": "/article/7BVuR3ABe5zSv27mtyuf",
        "url": "https://www.douyacun.com:8443/article/7BVuR3ABe5zSv27mtyuf",
        "headers": {
            "accept": "*/*,application/signed-exchange;v=b3",
            "accept-encoding": "gzip,deflate,br",
            "amp-cache-transform": "google;v=\"1..2\"",
            "connection": "keep-alive",
            "from": "googlebot(at)googlebot.com",
            "host": "www.douyacun.com",
            "user-agent": "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.90 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
            "x-anonymous-consumer": "true",
            "x-consumer-id": "762663d6-f465-4549-a4f8-ac4ae51f7f0e",
            "x-consumer-username": "anonymous"
        },
        "method": "GET"
    }
}
```

需要统计多个搜索引擎的请求，选择使用正则来过滤正常请求，爬虫的请求正常入库

```regexp
(Baiduspider|Googlebot|Googlebot|360Spider|Sogou|Bingbot)
```

顺便贴一下go定义的结构体，只是取了一下我认为需要的数据

```go
type KongHttpLog struct {
	Latencies struct {
		Request json.Number `json:"request"`
		Kong    json.Number `json:"kong"`
		Proxy   json.Number `json:"proxy"`
	} `json:"latencies"`
	Request struct {
		Querystring map[string]string `json:"querystring"`
		Size        json.Number       `json:"size"`
		Uri         string            `json:"uri"`
		Url         string            `json:"url"`
		Headers     map[string]string `json:"headers"`
		Method      string            `json:"method"`
	} `json:"request"`
	ClientIp string  `json:"client_ip"`
	Tries    []tries `json:"tries"`
	Response struct {
		Headers map[string]string `json:"headers"`
		Status  json.Number       `json:"status"`
		Size    json.Number       `json:"size"`
	}
	Spider string `json:"spider"`
	Date   string `json:"date"`
}
```

#### ES 存储数据

正常来说搜索引擎的爬虫媒体不会有大量的请求，我们定义储存策略是：按月统计，保留3个月，定期删除3个月之前的数据

还有个的问题是，每个月需要创建index设置mapping否则字段类型都是es猜测出来的，这里es提供了 [index template](https://www.elastic.co/guide/en/elasticsearch/reference/7.10/indices-templates.html) 如果index 命名命中了 `index_patterns` ，如果不存在会自动按照template创建index, 避免了需要自动脚本来创建index

```json
{
  "index_patterns": ["spider_*"],  
  "mappings": {
    "properties": {
      "date": {
        "type": "date"
      },
      "spider": {
        "type": "keyword"
      }
    }
  }
}
```

使用kibana做个折线图，每日观察一下趋势

![image-20210116180415575](/images/blog/1/kong/assert/image-20210116180415575.png)



so: kong收集搜索引擎爬虫每日收录哪些网页的目的已经实现了

刚加完3个小时后，我就统计到了Google的访问全部500了～～～～，一万个草泥马

![image-20210116213422686](/images/blog/1/kong/assert/image-20210116213422686.png)



kong 只有一个server，所有的域名都会走这一个server，然后转发路由，那如何按不同域名收集日志？