
网站地址：[https://www.douyacun.com/image/ocr-to-docx](https://www.douyacun.com/image/ocr-to-docx)

**功能特点：**

1. 识别图片上的文字
2. 按照图片文字样式进行格式化
3. 导出为word文档
4. 2算法实现：googel-tesseract-ocr / easyocr
5. 借助开源库实现，功能免费

**背景：**

几天前媳妇给了我一张图片，让我把图片上的内容导出来为可以编辑，识别图片文字的软件有挺多的了，不过能相对格式化的不多，借这次东风就顺便了解了一下文字识别（OCR）相关的技术，经过一段时间摸底之后找到了3种比较靠谱的方式

最先接触到的第一个开源工具Tesseract，大家说的比较多是Tesseract对于中文不是很友好，识别率不高。在我多次调试配置之下发现他们都是没有用心学习Tessract，实践下来发现：中文识别率较高，中文标点准确。cpu识别速度可以接受。

第二个了解到的工具请教了一下搞算法的同学，他告诉我用百度云的接口，中文识别率较高，速度快，API可享每天1000次免费调用，对于我来说尝鲜足够了。要是做成一个功能就比较费钱了。

第三个工具是在逛Github途中发现的，easyocr，尝试下来总结：中文识别  率较高，中文符号识别率不高，有人提过issue，作者也在3.0.1的版本进行了修复，实验了几次还是不准。CPU速度较慢，没有GPU所以没有尝试GPU的速度如何。

测试用例1:

![douyacun-tesseract-测试](/images/blog/1/tools/assert/tesseract-demo1.png)

Tesseract-or识别结果：

![douyacun-免费文字识别](/images/blog/1/tools/assert/tesseract-demo1-result.png)

**技术实现：**

- tesseract-ocr（40.4k star）: https://github.com/tesseract-ocr/tesseract  c++ 语言实现
  - pytesseract（3.7k star）: https://github.com/madmaze/pytesseract  python对tesseract-ocr的包装
  - goesseract （1.5k star）：https://github.com/otiai10/gosseract go语言对tesseract-ocr的包装
- easyocr （1.7k star）: https://github.com/JaidedAI/EasyOCR python语言实现

最终选择 pytesseract + easyocr 来实现的功能，2个包都是python实现，可以多一种替代方案。python-docx来保存docx

easyocr 返回的只是bbox位置信息

```json
([[462, 162], [1376, 162], [1376, 264], [462, 264]], '会议签到小程序 MRD 文档', 0.6382400515609702)
# （左上 右上 左下 右下），内容，可信度
([[177, 473], [435, 473], [435, 539], [177, 539]], '1.行业背景', 0.8461557775997883)
```

判断上下2行文本是否属于同一行的内容就需要根据bbox x、y信息判断。

而pytesseract 提供了hocr的方式，Block/TextBlock/line 可以比较方便判断是否为同一段落的内容，甚至可以区分左右分页段落

```xml
<ComposedBlock ID="cblock_0" HPOS="467" VPOS="175" WIDTH="900" HEIGHT="75">
  <TextBlock ID="block_0" HPOS="467" VPOS="175" WIDTH="900" HEIGHT="75">
    <TextLine ID="line_0" HPOS="467" VPOS="175" WIDTH="900" HEIGHT="75">
      <String ID="string_0" HPOS="476" VPOS="175" WIDTH="133" HEIGHT="75" WC="0.93" CONTENT="会"/><SP WIDTH="15" VPOS="175" HPOS="609"/>
      <String ID="string_1" HPOS="624" VPOS="176" WIDTH="51" HEIGHT="70" WC="0.92" CONTENT="议"/><SP WIDTH="30" VPOS="176" HPOS="675"/>
      <String ID="string_2" HPOS="705" VPOS="177" WIDTH="116" HEIGHT="72" WC="0.88" CONTENT="签到"/><SP WIDTH="7" VPOS="177" HPOS="821"/>
      <String ID="string_3" HPOS="828" VPOS="177" WIDTH="105" HEIGHT="72" WC="0.95" CONTENT="小"/><SP WIDTH="5" VPOS="177" HPOS="933"/>
      <String ID="string_4" HPOS="938" VPOS="171" WIDTH="108" HEIGHT="106" WC="0.91" CONTENT="程序"/><SP WIDTH="-7" VPOS="171" HPOS="1046"/>
      <String ID="string_5" HPOS="1039" VPOS="191" WIDTH="154" HEIGHT="50" WC="0.91" CONTENT="MRD"/><SP WIDTH="25" VPOS="191" HPOS="1193"/>
      <String ID="string_6" HPOS="1218" VPOS="176" WIDTH="149" HEIGHT="73" WC="0.96" CONTENT="文档"/>
    </TextLine>
  </TextBlock>
</ComposedBlock>
```

- HPOS: 横向距离 X轴
- VPOS: 竖向距离 Y轴
- WIDTH: 宽度
- HEIGHT: 高端

使用这4个参数可以计算出像bbox一样的位置信息。

相应的代码实现在github：https://github.com/douyacun/ocr-to-docx



识别图片上的文字，格式化导出word

如何识别图片文字格式化导出为word


特点：

1. 支持传参IP定位，如果不传参数IP，默认使用当前客户端的IP地址定位

2. 支持前端jsonp调用，避免跨域

    

# 接口调用


**接口地址:**

 `https://www.douyacun.com/api/openapi/geo/location`

**请求方法:**  

`HTTP GET`

**参数：**

- `ip` :  `118.28.8.8`

**header:**

- `token` : `eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY`

> 此token仅用于测试使用，限流 1次/s，大家共享此token

**限流**

- 开通接口权限 <a name="token"></a>
    - 关注微信公众号，私信说明开通 **开通IP定位API**, 自动创建并回复token

- QPS 默认 5/s, 最大并发10/s, 10万次/天， 
- QPS 可以增加到 10/s，最大并发20/s, 100万次/天，够用了。。。。
- 更大频次需要支付流量费用，100元长期支持，不限频次


![douyacun](https://www.douyacun.com/static/image/douyacun%E5%BE%AE%E4%BF%A1%E5%85%AC%E4%BC%97%E5%8F%B7.png)

**示例1:**

 `curl "https://www.douyacun.com/api/openapi/geo/location?ip=178.252.91.188&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY"`

**响应：**

```json
{
    "code": 0,
    "message": "success",
    "data": {
        "countryCode": "CN",
        "country": "中国",
        "province": "浙江",
        "city": "杭州",
        "ip": "47.98.208.18",
        "latitude": "30.29365",
        "longitude": "120.16142",
        "zipcode": "310099",
        "timezone": "+08:00",
        "refer": "douyacun.com"
    }
}
```

**示例2:**

 `curl "https://www.douyacun.com/api/openapi/geo/location?ip=178.252.91.188&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY"`

**响应:**

```json
{
    "code": 0,
    "message": "success",
    "data": {
        "countryCode": "RU",
        "country": "Russian Federation",
        "province": "Sankt-Peterburg",
        "city": "Saint Petersburg",
        "ip": "178.252.91.188",
        "latitude": "59.89444",
        "longitude": "30.26417",
        "zipcode": "196240",
        "timezone": "+03:00",
        "refer": "douyacun.com"
    }
}
```

# jsonp调用

**接口地址：**

`https://www.douyacun.com/api/geo/location?callback=__jp0&&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY`

**示例:**

 `curl "https://www.douyacun.com/api/geo/location?callback=__jp0&&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY"`

**响应:**

```
__jp0(
{
    "code": 0,
    "message": "success",
    "data": {
        "countryCode": "CN",
        "country": "中国",
        "province": "天津",
        "city": "天津",
        "ip": "118.28.8.8",
        "latitude": "39.14222",
        "longitude": "117.17667",
        "zipcode": "300120",
        "timezone": "+08:00",
        "refer": "douyacun.com"
    }
}
)
```



免费ip地理位置(GEO IP)接口



# 安装依赖

```shell
yum install autoconf automake libtool pkgconfig.x86_64 libpng12-devel.x86_64 libjpeg-devel libtiff-devel.x86_64 zlib-devel.x86_64 gcc gcc++
```

- Leptonica-1.79

```shell
wget http://www.leptonica.org/source/leptonica-1.79.0.tar.gz
tar -zxvf leptonica-1.79.0.tar.gz
cd leptonica-1.79.0
./configure --prefix=/usr/local/leptonica-1.79.0
make && make install

export PKG_CONFIG_PATH=/usr/local/leptonica-1.79.0/lib/pkgconfig
```

# 安装 tesseract 4.1.1 稳定版本

```shell
wget https://github.com/tesseract-ocr/tesseract/archive/refs/tags/4.1.1.zip

./autogen.sh
./configure --prefix=/usr/local/tesseract-4.1.1
make && make install
```

看下tesseract支持的语言
```
tesseract --list-lang
```

如果报错：
```
Error in pixReadMemJpeg: function not present
Error in pixReadMem: jpeg: no pix returned
Error during processing.

Error in pixReadMemTiff: function not present
Error in pixReadMem: tiff: no pix returned
Error in pixaGenerateFontFromString: pix not made
Error in bmfCreate: font pixa not made
Error opening data file /usr/local/share/tessdata/eng.traineddata
```
说明 jpeg 的依赖库没有安装， 执行:
```
yum install libpng12-devel.x86_64 libjpeg-devel libtiff-devel.x86_64 -y 
```
然后重新编译 Leptonica-1.79

安装训练文件：eng + chi_sim

```shell
wget https://github.com/tesseract-ocr/tessdata_best/blob/master/chi_sim.traineddata /usr/local/share/tessdata
wget https://github.com/tesseract-ocr/tessdata_best/blob/master/eng.traineddata /usr/local/share/tessdata

export TESSDATA_PREFIX=/usr/local/share/tessdata
```

# 安装Tesseract 5.0

```shell
git clone https://github.com/tesseract-ocr/tesseract.git
cd tesseract
./autogen.sh
./configure --prefix=/usr/local/tesseract-5.0 
make && make install
```

训练文件安装步骤 和 4.0 相同




centos7 安装 tesseract4.1.1 tesseract5.0




**在线网站地址：[https://www.douyacun.com/pdf/remove-watermark](https://www.douyacun.com/pdf/remove-watermark)**

**步骤：**

**第一步：**选择文件

![https://www.douyacun.com/pdf/remove-watermark](/images/blog/1/tools/assert/image-20210519200853413.png)

**第二步：**处理图片水印，点击分析文档，此步骤会分析文档中的疑似水印的图片，对与确认是水印的会标记删除，这一步需要确认以免误删或遗漏

![https://www.douyacun.com/pdf/remove-watermark](/images/blog/1/tools/assert/image-20210519201012631.png)

**第三步：**处理文字水印，可以打开文档，尝试选中

![https://www.douyacun.com/pdf/remove-watermark](/images/blog/1/tools/assert/image-20210519201401006.png)

如果可以像下图一样选中文字，可以确定这是文字水印，如下图，需要在填写框中填写粘贴上面的文字： ”微信扫码关注公众号，免费下载更多学习资料“

![https://www.douyacun.com/pdf/remove-watermark](/images/blog/1/tools/assert/image-20210519201601685.png)

**第四步：**点击清理文档，清理完成后，点击下载文档即可



支持去除PDF文档中的 图片/文字/矩阵 水印

pdf文档去水印_remove_watermark


**特点：**

- 中国各大城市，不包括自治州地区，支持的城市地区:  [https://www.douyacun.com/static/中国城市adcode.json](https://www.douyacun.com/static/中国城市adcode.json)
- 预报纬度： 小时预报，7天天气预报，生活指数，空气质量，日升日落时间，尾号限行
- [数据来源于中国天气网](http://www.weather.com.cn/)，长期稳定维护
- 天气数据每小时更新
- 接口支持jsonp调用

**请求限制:**


# 文档

**请求方法**:

- GET

**接口地址:**

- https://www.douyacun.com/api/openapi/weather

**测试Token:**

- eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY
- 此token仅用于测试使用，限流 1次/s，大家共享此token

**测试url：**

`https://www.douyacun.com/api/openapi/weather?province=%E4%B8%8A%E6%B5%B7&city=%E4%B8%8A%E6%B5%B7&weather_type=forecast_hour|forecast_day|alarm|limit|rise|observe|index|air&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY`

**限流**

- 开通接口权限 <a name="token"></a>
    - 关注微信公众号，私信说明 **开通天气API**，自动创建并回复token
- QPS 默认 5/s, 最大并发10/s, 10万次/天
- QPS 可以增加到 10/s，最大并发20/s, 100万次/天，够用了。。。。
- 更大频次需要支付流量费用，100元长期支持，不限频次次

![douyacun1](https://www.douyacun.com/static/image/douyacun%E5%BE%AE%E4%BF%A1%E5%85%AC%E4%BC%97%E5%8F%B7.png)


**参数:**

| 参数名       | 是否必选 | 类型   | 参数说明                                                     |                             备注                             |
| ------------ | -------- | ------ | ------------------------------------------------------------ | :----------------------------------------------------------: |
| province     | 否       | string | 省份                                                         |                             北京                             |
| city         | 否       | string | 城市                                                         |                             北京                             |
| adCode       | 否       | string | 城市AdCode                                                   | [城市code](https://www.douyacun.com/static/%E4%B8%AD%E5%9B%BD%E5%9F%8E%E5%B8%82adcode.json) |
| ip           | 否       | string | ip地址定位                                                   |                        60.207.131.25                         |
| callback     | 否       | string | jsonp调用参数                                                |                                                              |
| token        | 是       | string | [token申请](#token)                                          |                                                              |
| weather_type | 是       | string | forecast_hour\|forecast_day\|alarm\|limit\|rise\|observe\|life_index\|air |                           `|` 分割                           |

**备注:**

- 如果不传参数将会使用 IP 定位城市

- 参数优先级：province,city > adcode > ip 
- weather_type
    - `forecast_hour` 小时预报
    - `forecast_day` 7天天气预报
    - `alarm` 报警
    - `limit` 限行
    - `rise` 日出日落时间
    - `observer` 今日天气
    - `life_index` 生活指数
    - `air` 空气质量

**响应JSON**

```json
{
    "code": 0, // 0 成功
    "data": {
       // air 空气质量
        "air": {
            "aqi": 55, // 空气质量
            "aqi_level": 2,// 空气质量等级
            "aqi_name": "良",// 空气质量等级
            "pm10": "59",// Pm10 总悬浮颗粒物是指漂浮在空气中的固态和液态颗粒物的总称，[1]其粒径范围约为0.1-100 微米
            "pm2.5": "21",// pm2.5 细颗粒物指环境空气中空气动力学当量直径小于等于 2.5微米的颗粒物
            "co": "1",// 一氧化碳
            "no2": "11",// 二氧化氮
            "so2": "13",// 二氧化硫
            "update_time": "20210425120000"
        },
        // alarm 报警
        "alarm": [
            {
                "detail": "哈尔滨市人民政府森林（草原）防灭火指挥部、市气象局和市林业和草原局4月24日13:00联合发布全市森林（草原）火险黄色预警信号：预计24下午至26日，我市以晴或多云天气为主，气温逐步回升，最高气温15到19℃，平均风力4到5级，阵风7级左右，森林草原火险等级为3级。请各区、县（市）人民政府森林草原防灭火指挥部及各有关单位和人员立即按照“预警响应方案”进入三级森林草原防灭火工作状态，做好森林草原防灭火各项措施的落实和扑火准备工作。（预警信息来源：国家预警信息发布中心）",// 报警详情
                "info": "202104241300509532森林（草原）火险黄色",// 报警信息
                "level_code": "00",// 报警级别
                "level_name": "黄色",// 报警级别
                "type_code": "00",
                "type_name": "森林（草原）火险"// 报警类别
            }
        ],
        // 7天预报
        "forecast_day": [
            {
                "day_weather": "阴", // 天气状况
                "day_weather_code": "02",
                "day_weather_short": "阴",
                "day_wind_direction": "北风",// 白天风向
                "day_wind_direction_code": "8",
                "day_wind_power": "4",// 风力
                "day_wind_power_code": "1",
                "max_degree": "7",// 最高温度
                "min_degree": "2",// 最低温度
                "night_weather": "晴",// 白天天气
                "night_weather_code": "00",
                "night_weather_short": "晴",
                "night_wind_direction": "西北风", // 夜晚风向 
                "night_wind_direction_code": "01",
                "night_wind_power": "3",// 夜晚风力
                "night_wind_power_code": "0",
                "time": "2021-04-24" // 日期
            },,,,,,,,,
        ],
        // 小时预报
        "forecast_hour": [
            {
                "degree": "12",// 温度
                "weather": "晴",// 天气
                "weather_code": "00",// 天气代码
                "weather_short": "晴",
                "wind_direction": "北风",// 风向
                "wind_power": "3",// 风力
                "update_time": "2021-04-25 12:00:00"
            },,,,,,,,,,,
        ],
        // 尾号限行
        "limit": {
            "tail_number": "" // 尾号限行
        },
        // 当前天气 
        "observe": {
            "degree": "13",// 温度
            "humidity": "28",// 湿度
            "precipitation": "0",// 降水量
            "pressure": "1010",// 气压
            "weather": "晴",// 天气
            "weather_code": "00",
            "weather_short": "晴",
            "wind_direction": "8",// 风向
            "wind_power": "3"// 风力
        },
        "life_index": {
            "airconditioner": {
                "detail": "您将感到很舒适，一般不需要开启空调。",
                "info": "较少开启",
                "name": "空调开启"
            },
            "allergy": {
                "detail": "天气条件较易诱发过敏，宜穿长衣长裤，远离过敏源，适当佩戴眼镜和口罩。",
                "info": "较易发",
                "name": "过敏"
            },
            "carwash": {
                "detail": "适宜洗车，未来持续两天无雨天气较好，适合擦洗汽车，蓝天白云、风和日丽将伴您的车子连日洁净。",
                "info": "适宜",
                "name": "洗车"
            },
            "chill": {
                "detail": "温度未达到风寒所需的低温，稍作防寒准备即可。",
                "info": "无",
                "name": "风寒"
            },
            "clothes": {
                "detail": "建议着厚外套加毛衣等服装。年老体弱者宜着大衣、呢外套加羊毛衫。",
                "info": "较冷",
                "name": "穿衣"
            },
            "cold": {
                "detail": "昼夜温差较大，较易发生感冒，请适当增减衣服。体质较弱的朋友请注意防护。",
                "info": "较易发",
                "name": "感冒"
            },
            "comfort": {
                "detail": "白天天气晴好，但仍会使您感觉偏冷，不很舒适，请注意适时添加衣物，以防感冒。",
                "info": "较不舒适",
                "name": "舒适度"
            },
            "diffusion": {
                "detail": "气象条件对空气污染物稀释、扩散和清除无明显影响。",
                "info": "中",
                "name": "空气污染扩散条件"
            },
            "dry": {
                "detail": "天气较好，路面比较干燥，路况较好。",
                "info": "干燥",
                "name": "路况"
            },
            "drying": {
                "detail": "天气不错，适宜晾晒。赶紧把久未见阳光的衣物搬出来吸收一下太阳的味道吧！",
                "info": "适宜",
                "name": "晾晒"
            },
            "fish": {
                "detail": "较适合垂钓，但风力稍大，会对垂钓产生一定的影响。",
                "info": "较适宜",
                "name": "钓鱼"
            },
            "heatstroke": {
                "detail": "天气舒适，令人神清气爽的一天，不用担心中暑的困扰。",
                "info": "无中暑风险",
                "name": "中暑"
            },
            "makeup": {
                "detail": "温湿适宜，最好使用SPF20以上防晒霜打底，建议使用中性保湿型化妆品。",
                "info": "防晒",
                "name": "化妆"
            },
            "mood": {
                "detail": "天气较好，空气温润，和风飘飘，美好的天气会带来一天接踵而来的好心情。",
                "info": "好",
                "name": "心情"
            },
            "morning": {
                "detail": "天气不错，空气清新。",
                "info": "适宜",
                "name": "晨练"
            },
            "sports": {
                "detail": "天气较好，无雨水困扰，较适宜进行各种运动，但因气温较低，在户外运动请注意增减衣物。",
                "info": "较适宜",
                "name": "运动"
            },
            "sunglasses": {
                "detail": "白天天气晴朗，太阳辐射较强，建议佩戴透射比1级且标注UV380-UV400的遮阳镜",
                "info": "必要",
                "name": "太阳镜"
            },
            "sunscreen": {
                "detail": "紫外辐射极强，应特别加强防护，建议涂擦SPF20以上，PA++的防晒护肤品，并随时补涂。",
                "info": "极强",
                "name": "防晒"
            },
            "tourism": {
                "detail": "天气较好，温度适宜，是个好天气哦。这样的天气适宜旅游，您可以尽情地享受大自然的风光。",
                "info": "适宜",
                "name": "旅游"
            },
            "traffic": {
                "detail": "天气较好，路面干燥，交通气象条件良好，车辆可以正常行驶。",
                "info": "良好",
                "name": "交通"
            },
            "ultraviolet": {
                "detail": "紫外线辐射极强，建议涂擦SPF20以上、PA++的防晒护肤品，尽量避免暴露于日光下。",
                "info": "很强",
                "name": "紫外线强度"
            },
            "umbrella": {
                "detail": "天气较好，您在出门的时候无须带雨伞。",
                "info": "不带伞",
                "name": "雨伞"
            }
        }
    },
    "message": "success"
}
```











数据来源于中国天气网, 每小时更新一次

中国城市天气接口：小时预报,7天天气预报,尾号限行,生活指数,空气质量,日升日落时间


面试题:

```go
package main

func main() {
	m := make(map[string]*student)
	stus := []*student{
		&student{Name: "zhou", Age: 24},
		&student{Name: "li", Age: 23},
		&student{Name: "wang", Age: 22},
	}
	l := sync.RWMutex{}
	wg := sync.WaitGroup{}
	for _, stu := range stus {
		wg.Add(1)
		go func() {
			defer wg.Done()
			l.Lock()
			local := stu
			// fmt.Println(local)
			m[local.Name] = local
			l.Unlock()
		}()
		//fmt.Println("111")
	}
	wg.Wait()
	fmt.Printf("%+v", m)
}
```

第一次测试输出：

```
map[wang:0xc00000c060]
```

第二次，main gouroutine 是不是和 其他的gouroutine并行, 在 循环中 下打印  `fmt.Println("111")`， 在 goroutine中 打印 stu 看看啥情况，多次运行都是：

```
111
111
111
{zhou 24}
{wang 22}
{wang 22}
map[wang:0xc0000a6020]
```

第一次的输出还是可以想到 闭包指针引用外部变量，那这第二次开始怀疑人生了。我又试了试注释掉 `fmt.Println(local)`

```
第一次:
111
111
111
map[wang:0xc00000c060 zhou:0xc00000c060]

第二次:
111
111
111
map[li:0xc00000c060 zhou:0xc00000c060]
```

见鬼了...



这个问题平常开发也是经常会犯错误的，不过goland可以给出提示出来

1. 闭包引用外部变量是 指针引用，参数传值是值复制

2. main gourouine 和 其他goroutine 都是并发运行的

3. 标准输出阻塞的，所以我们每次打印内容以后导致和想象的结果不一样了

    

1. 闭包指针引用外部变量 2. 标准输出会阻塞

go面试题：闭包函数指针引用 & 标准输出阻塞


背景：

- gin框架，中间件
- 博客开放好玩的 API

需求：

- 接口限流
- 按账户/IP/Token限流
- 定时加载配置

todo:

- 分布式限流

# time/rate 原理

time/rate 是go提供的官方限流工具

原理: 令牌桶，以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务

我首先想到的方案初始化定时任务，每隔多长时间往桶里放一令牌。但是相比之下，time/rate的实现方式就是更优雅了

关键变量:

- 令牌放入桶的速度 limit 每秒产生多少token
- 桶的容量 burst 

已知变量：

- 最后一次消耗令牌的时间 last

简化公式：

当前可用令牌数，tokens（当前可用令牌数） := (now (当前时间) - last(上一次消耗令牌的时间) ).Seconds() * limit(令牌/每秒)

完整代码是：

```go
// advance calculates and returns an updated state for lim resulting from the passage of time.
// lim is not changed.
func (lim *Limiter) advance(now time.Time) (newNow time.Time, newLast time.Time, newTokens float64) {
	last := lim.last
	if now.Before(last) {
		last = now
	}

	// Avoid making delta overflow below when last is very old.
  // 这里限制令牌数不超过burst，lim.tokens 是上一次结余
	maxElapsed := lim.limit.durationFromTokens(float64(lim.burst) - lim.tokens)
	elapsed := now.Sub(last)
	if elapsed > maxElapsed {
		elapsed = maxElapsed
	}

	// Calculate the new number of tokens, due to time that passed.
	delta := lim.limit.tokensFromDuration(elapsed)
	tokens := lim.tokens + delta // 上一次结余 + 时间增量
	if burst := float64(lim.burst); tokens > burst {
		tokens = burst
	}

	return now, last, tokens
}
```

比起定时器来说是不是很优雅？这里有个比较绕的点：limit 的单位，n/s, 每秒多少个令牌

```go
// Every converts a minimum time interval between events to a Limit.
func Every(interval time.Duration) Limit {
	if interval <= 0 {
		return Inf
	}
	return 1 / Limit(interval.Seconds())
}
```

计算可用tokens的公式就更好理解了，用  tokens（当前可用令牌数） := (now (当前时间) - last(上一次消耗令牌的时间) ).Seconds() * limit(令牌/每秒)

# time/rate 改造

time/rate 只是给出了最基础的实现，绝大部分的需求

- 接口 > IP/user 多层限流
- 动态加载配置
- 在响应中给出剩余请求次数，下一次重置时间

其实 time/rate 的成本是非常低的，所以我们只需要多层map结构就可以满足, 每次初始化一个 rate.Limiter 就可以满足

```go
type ApiKeyRateLimit interface {
	Load()
	GetLimiter(api, key string) (limiter *Limiter, ok bool)
}

// API - UserId - rate.Limiter
type ApiKeyRateLimitImpl struct {
	hub map[string]map[string]*rate.Limiter
}
```

动态加载配置，可以使用etcd订阅配置，我实现的是定时从数据库里捞配置

```go

type ApiAccountRateLimit struct {
	ctx context.Context
	lim rate.ApiKeyRateLimit
}

func NewApiAccountRateLimit(ctx context.Context, limit rate.ApiKeyRateLimit) *ApiAccountRateLimit {
	r := &ApiAccountRateLimit{
		ctx: ctx,
		lim: limit,
	}
	go r.load()
	return r
}

func (h *ApiAccountRateLimit) Hook() gin.HandlerFunc {
	return func(ctx *gin.Context) {
		path := ctx.Request.URL.Path
		acctId, ok := ctx.Get(consts.OpenapiAccountId)
		if !ok {
			ctx.JSON(http.StatusOK, gin.H{"code": http.StatusUnauthorized, "message": http.StatusText(http.StatusUnauthorized)})
			ctx.Abort()
			return
		}
		limiter, ok := h.lim.GetLimiter(path, acctId.(string))
		if !ok {
			ctx.JSON(http.StatusOK, gin.H{"code": http.StatusUnauthorized, "message": http.StatusText(http.StatusUnauthorized)})
			ctx.Abort()
		}
    // 响应头：X-RateLimit-* 这里time/rat没有放出Advance，需要改一下
		_, _, tokens := limiter.Advance(time.Now())
		burst := limiter.Burst()
		ctx.Header("X-RateLimit-Limit", strconv.Itoa(burst))
		ctx.Header("X-RateLimit-Remaining", strconv.Itoa(int(tokens)))
    
		if !limiter.Allow() {
			ctx.JSON(http.StatusOK, gin.H{"code": http.StatusTooManyRequests, "message": http.StatusText(http.StatusTooManyRequests)})
			ctx.Abort()
			return
		}
		ctx.Next()
	}
}

// 定时加载配置
func (h *ApiAccountRateLimit) load() {
	ticker := time.NewTicker(5 * time.Minute)
	for {
		select {
		case <-h.ctx.Done():
			logger.Errorf("quit: RateLimit load config")
		case <-ticker.C:
			h.lim.Load()
		}
	}
}
```

# 推荐阅读

- go time/rate 限流 https://www.douyacun.com/article/f8f4e2bb806a6176e9c61dcaa0a4a6cc
- Go可用性(三) 限流2: 令牌桶的实现 rate/limt https://lailin.xyz/post/go-training-week6-3-token-bucket-2.html



1. 接口限流 2. 按账户/ip/token限流 3. 定时加载配置

go time/rate 接口-账户/IP 限流


- kafka 多线程处理单个消费者消息
- kafka 单线程处理单个消费者消息
- kafka 增加分区数量

# kafka 多线程处理单个消费者消息

写php的时候经常拿redis来当做消息队列，然后启动多个进程处理队列中的消息，失败的消息记录写入失败队列中。所以在处理kafka consumer group时首先会想到这种方式来处理消息。只是如果kafka也按照这种方式来的话，保证消息不丢失的语义将会是一件麻烦事。

位移: kafka partition 只会维护一个数字，即处理的最后一条消息。

如果我们启用多线程来处理同一个消费者的消息的话，考虑一下这种情况:

4个线程处理，分别拿到了 位移 5,6,7,8 的消息

- 拿到8的线程成功处理了消息。但是5，6，7的线程处理失败了，此时我们还需要一个队列来处理失败的消息。就像上面处理redis队列一样
- 还是拿到8的线程成功处理了消息，提交了位移，5的线程最后处理完消息，最后提交commit，此时6，7，8的消息会被重复消费

所以我们多线程处理单个消费者消息是需要解决这处理失败，消息重复消费这2个问题，不符合kafka消息交付语义。实现链路长，代码复杂

**那么为什么还是需要多线程消费？**

答：考虑需要使用消息队列场景，比如：视频、图片处理

- 处理周期长，超过web请求设定的超时时间
- 异步处理，业务需求更关注处理结果，对时间有一定包容度
- 服务降级，比如文章阅读统计但是还参杂算法推荐，运营活动，但是不要影响阅读量统计的逻辑。毕竟吞吐量要求比较高

java 实现代码可以看  [胡夕老师的多线程实践](https://www.cnblogs.com/huxi2b/p/13668061.html) 

go实现代码

```go

type Consume struct {
	ctx     context.Context
	encoder encode.Encoder
	// sem 信号量，限制并发数
	sem chan struct{}
}

// n: goroutine 并发数量
func NewPdfConvertConsume(ctx context.Context, encoder encode.Encoder, n int) *Consume {
	return &Consume{
		ctx:     ctx,
		encoder: encoder,
		sem:     make(chan struct{}, n),
	}
}

func (*Consume) Setup(sarama.ConsumerGroupSession) error {
	return nil
}

func (*Consume) Cleanup(sarama.ConsumerGroupSession) error {
	return nil
}

func (p *Consume) ConsumeClaim(session sarama.ConsumerGroupSession, claim sarama.ConsumerGroupClaim) error {
	for m := range claim.Messages() {
		p.sem <- struct{}{}
		go func(msg sarama.ConsumerMessage) {
			defer func() {
				<-p.sem
			}()
			data := &action.Context{}
			logger.Debugf("consumer msg: %s", string(msg.Value))
			if err := p.encoder.Decode(data, msg.Value); err != nil {
				logger.Wrapf(err, "msg decoder failed")
			} else {
        // todo 业务逻辑
			}
		}(*m)
		session.MarkMessage(m, "")
	}
	return nil
}

```

# kafka 单线程处理单个消费者的消息

- 可以保证kafka的消息交付语义的，实现方式简单易维护
- 需要更多的TCP连接

- 线程自己处理消息可能会造成超时导致rebalance

如果消息处理时间较长，可以调整参数 或者 细化处理步骤保证消息处理速度 来避免频繁的rebalance

**参数调优**:

`heartbeat.interval.ms` : 心跳间隔，用来保持consumer的会话，并且在有consumer加入或者离开group时帮助进行rebalance，这个值必须要小于 `session.timeout.ms`, 在超过`session.timeout.ms` 时间内如果没有收到hearbeat消息，就会将该consumer移出 consumer group, 一般设置 `session.timeout.ms `的 1/3

`session.timeout.ms` ： session会话过期时间

`max.poll.interval.ms` : 最大poll数据间隔，默认值是3s, 如果超过这个时间还是没有发起poll请求，即使heartbeat依旧在发，还是会把consumer 移出 consumer group



# kafka 增加分区数

```
./kafka-topics.sh --zookeeper localhost:2181/kafka --alter --topic demo --partitions 6
```



1.kafka 多线程处理单个消费者消息 2. kafka 单线程处理单个消费者消息 3. kafka 增加分区数量

kafka 多线程单消费者 vs 单线程单消费者

prometheus/jmx_exporter 收集jmx指标，grafana 监控 kafka

分享 kafka prometheus 监控方案: jmx 监控指标 grafana dashboard


![image-20210223212719619](/images/blog/1/prometheus/assert/image-20210223212719619.png)

prometheus提供了node_exporter来收集主机数据

node_exporter下载地址: [https://github.com/prometheus/node_exporter/releases](https://github.com/prometheus/node_exporter/releases)

supervisor维护进程运行

```ini
[program:node_exporter]
command=/data/node_exporter/node_exporter-1.1.1.linux-amd64/node_exporter
autostart=true
autorestart=true
user=root
numprocs=1
redirect_stderr=true
stdout_logfile=/data/node_exporter/logs/access.log
```

grafana dashboard: [https://grafana.com/grafana/dashboards/8919](https://grafana.com/grafana/dashboards/8919)



关键字