# go-struct-excel

1. struct支持导出为excel
2. excel导入为struct
3. 表头支持扩展，如：日期表头不确定长度
4. excel第一行为备注
5. excel表头进行汇总
6. 标记某行为特殊颜色
7. 如果字段为空，就不生成该表头
8. 支持http响应
9. 支持grpc响应

> 表头不支持重复

实际效果：

![](/images/blog/1/golang/assert/go-struct-excel.png)



# 安装

```shell
go get github.com/douyacun/go-struct-excel
```

# 导出 excel

```go
package main

type foo struct {
	Name    string          `excel:"姓名" json:"name"`
	Age     *int            `excel:"年龄,allowempty" json:"age"`
	Height  int             `excel:"身高,font{color:ff0000 size:16}" json:"height"`
	Holiday map[string]bool `excel:"假期,expand:regexp(^\\d{4}-\\d{2}-\\d{2}$)" json:"holiday"`
}

func (f foo) GatherHeaderRows() int {
	return 1
}

func (f foo) GatherHeader(sheet *Sheet) error {
	style, _ := sheet.GetCenterStyle()

	headerLine := "7"

	sheet.Excel.SetCellValue(sheet.SheetName, "A"+headerLine, "个人信息")
	sheet.Excel.MergeCell(sheet.SheetName, "A"+headerLine, "C"+headerLine)
	sheet.Excel.SetCellStyle(sheet.SheetName, "A"+headerLine, "C"+headerLine, style)
	sheet.Excel.SetCellValue(sheet.SheetName, "D"+headerLine, "假期信息")
	sheet.Excel.MergeCell(sheet.SheetName, "D"+headerLine, "I"+headerLine)
	return nil
}

func (f foo) Remarks() (string, int, int) {
	return `.特别注意：导入数值加逗号格式，很经常被Excel带成数值，可在前面加个'号，或设置单元格格式为文本			
			
.导入规则：
.全局名称不允许重复			
.各种包含类型枚举：可为空表示不定向，或输入：不限、包含、不包含			
`, 6, 9
}
```

测试：

```go
package main

func TestNewExcel(t *testing.T) {
  excel := NewExcel("helloworld.xlsx")
  defer excel.File.Close()
  data := make([]*foo, 0)
  age := 28
  data = append(data, &foo{
    Name:   "h",
    Age:    &age,
    Height: 181,
    Holiday: map[string]bool{
      "2022-01-27": false,
      "2022-01-28": true,
      "2022-01-29": true,
    },
  }, &foo{
    Name:   "o",
    Age:    &age,
    Height: 182,
    Holiday: map[string]bool{
      "2022-01-27": true,
      "2022-01-28": true,
      "2022-01-30": true,
      "2022-02-09": true,
      "2022-12-09": true,
    },
  })

  if err := excel.AddSheet("hello").AddData(data); err != nil {
    t.Error(err)
    return
  }

  if err := excel.SaveAs(); err != nil {
    t.Errorf("文件保存失败: %s", err.Error())
    return
  }
  dir, _ := os.Getwd()
  fmt.Println("当前路径：", dir)
  return
}

```

http访问直接下载excel:

```shell
if err := excel.Response(ctx.Writer); err != nil {
  ctx.JSON(http.StatusOK, gin.H{"code": http.StatusBadRequest, "message": err.Error()})
}
```

grpc响应:

```protobuf
// 定义protobuf
syntax = "proto3";
option go_package = "douyacun/proto/common;common";

package common;

message ExcelFile {
  string filename = 1;
  bytes raw = 2;
}

message ExcelResponse {
  int32 code = 1;
  string error_message = 2;
  ExcelFile data = 3;
}
```

如果是http代理grpc服务，可以通过类型断言：`ExcelResponse`

```go
package main

import "context"

func handler(ctx context.Context) error {
  switch resp.(type) {
  case *commonProto.ExcelResponse:
    return response(ctx.writer, resp.(*commonProto.ExcelResponse))
  default:
    return defaultHandle(ctx, req, resp)
  }
}

func response(w http.ResponseWriter) error {
  header := w.Header()

  byt, err := e.Bytes()
  if err != nil {
    return err
  }
  header["Accept-Length"] = []string{strconv.Itoa(len(byt))}
  header["Content-Type"] = []string{"application/vnd.ms-excel"}
  header["Access-Control-Expose-Headers"] = []string{"Content-Disposition"}
  header["Content-Disposition"] = []string{fmt.Sprintf("attachment; filename=\"%s\"", e.Filename)}
  w.Write(byt)
  return nil
}
```

excel tag说明：

- tag英文逗号分隔，第一个作为表头名称，其他没有顺序要求
- `allowempty`: 表头在场景一中需要展示，其他不需要。字段为指针类型，tag标记为 `allowmepty`
- `font`: 设定此列富文本样式，支持 `{color:ff0000 size:16 italic:true blod:true underline:true}`
- `expand`: 自动扩展表头，支持正则匹配表头，`expand:regexp(^\\d{4}-\\d{2}-\\d{2}$)"`， 其中内置正则
    + `expand:date`: 2022-06-18
    + `expand:datetime`: 2022-06-18 08:27:39
    + `expand:month`: 2022-06

表头备注：

```go
type ExcelRemarks interface {
Remarks() (remark string, row, col int) // 占用几行几列
}
```

汇总表头

```go
package main

type ExcelGatherHeader interface {
    GatherHeaderRows() int // 汇总表头占几行，不包括字段行
    GatherHeader(sheet *Sheet) error // 汇总表头合并单元格，单元格样式需要自己实现
}
```

## 导入用法

```go
package main

func TestReadData(t *testing.T) {
  excel, err := OpenExcel("helloword.xlsx")
  if err != nil {
    t.Error(err)
  }
  sheet, err := excel.OpenSheet("hello")
  if err != nil {
    t.Error(err)
  }
  if data, err := sheet.ReadData(foo{}); err != nil {
    t.Error(err)
  } else if d, ok := data.([]*foo); ok {
    if str, err := json.Marshal(d); err != nil {
      t.Error(err)
    } else {
      fmt.Println(string(str))
    }
  }
}
```

输出：

```shell
=== RUN   TestReadData
[{"name":"h","age":28,"height":181,"holiday":{"2022-01-27":false,"2022-01-28":true,"2022-01-29":true}},{"name":"o","age":28,"height":182,"holiday":{"2022-01-27":true,"2022-01-28":true,"2022-01-29":false,"2022-01-30":true,"2022-02-09":true,"2022-12-09":true}}]
--- PASS: TestReadData (0.00s)
PASS
```

1. struct支持导出为excel, 2. excel导入为struct, 3.表头支持扩展，如：日期表头不确定长度, 4. excel第一行为备注, 5. excel表头进行汇总, 6. 标记某行为特殊颜色, 7. 如果字段为空，就不生成该表头

go语言struct结构体支持导入导出excel


**下载地址**：

- [windows](https://www.douyacun.com/s/pdf_tools.exe)
- [mac](https://www.douyacun.com/s/pdftools)



PDF工具箱功能：

[toc]

# 一、PDF去水印-专业版

**先介绍常见的PDF水印：**

- 文字水印，可以选中，并且文字可以复制出来（空空说考研）的，就是文字水印，此类水印一般是在正文图层下方

![pdf去水印-选中文字.png](/images/blog/1/tools/assert/pdf去水印-选中文字.png)

- 图片水印，此类水印需要分为2种
  - 正文中嵌入水印图片，典型的像是扫描全能王的水印

      ![pdf去水印-选中图片.png](/images/blog/1/tools/assert/pdf去水印-选中图片.png)

  - 正文和水印是一张图片，这种水印是需要图片去水印的，目前PDF还不支持图片去水印

- 图形水印，将unicode文字用贝尔曲线画出来的图形（画图工具嵌入的文字就是贝尔曲线），可以选中但是文字复制不出来，这种水印是难以识别的，文字转图形以后就无法在转回来了。不过软件可以将这块内容标记出来，供大家判别是否为水印。

    ![pdf去水印-选中图形.png](/images/blog/1/tools/assert/pdf去水印-选中图形.png)



**去水印步骤（windows与mac一致）：**



1. 选择PDF文件

选择文件以后软件会分析PDF文件中的文字水印、图片水印、图形水印

2. 图片水印

![pdf去水印-图片水印.png](/images/blog/1/tools/assert/pdf去水印-图片水印.png)

软件会提取嵌入在正文中的图片，如上图，像这种水印是和正文分开的，是可以去掉的。

但如果像是下面这种，正文文字和水印在同一张图片上是去不掉的。常见的就是扫描版的图书

3. 文字水印

选择文件后软件分析PDF最多前10页的所有文字段落并统计出现次数：

![pdf去水印-文字水印.png](/images/blog/1/tools/assert/pdf去水印-文字水印.png)

大家可以用这个功能来删除文字

4. 图形水印

选择文件后会分析PDF中的文字图形水印，然后将其截图标记出来，如下图：

![pdf去水印-图形水印](/images/blog/1/tools/assert/pdf去水印-图形水印.png)

5. 预览保存

预览保存，会将判别为水印的文字移除掉，可以预览去水印效果是否能去掉水印，预览效果只会处理一次，再次预览不会二次处理，需要重选文件后预览。

![pdf去水印-预览](/images/blog/1/tools/assert/pdf去水印-预览.png)

# 二、PDF转Word

使用步骤：

1. 选择文件

2. 保存为docx

控制台会显示处理进度：

![pdf转word-控制台](/images/blog/1/tools/assert/pdf转word-控制台.png)

# 三、PDF批量加密文件

PDF批量加密功能，选择目录会遍历目录下的所有PDF文件，展示在下方表格中。可以取消勾选来取消加密文件

![pdf批量加密-选择目录](/images/blog/1/tools/assert/pdf批量加密-选择目录.png)

加密选项：

**用户密码：** 只有使用用户密码才可以打开PDF文件，否则无法访问，加密方式默认使用res_256（原美国军方）加密。此加密比较安全，难以破解。

**所有者秘密：** 此项用作限制用户复制、打印、修改、添加备注、添加表单的权限，没有密码也是可以访问文件内容。

![pdf批量机密-加密选项](/images/blog/1/tools/assert/pdf批量机密-加密选项.png)

用户密码 和 所有者密码 可以同时设置不同的密码，

填写所有者密码以后，默认是禁止打印、禁止修改文档、禁止合并文档、禁止复制/提取内容、禁止添加备注、禁止添加表单。

# 四、PDF转图片

文档待补充～

**软件截图**

![image-20211229153634052](/images/blog/1/tools/assert/pdf转图片-截图.png)

**参数介绍**

页数：从 x - y 生成图片，比如: 1-10 表示会生成 从第一页到第十页 11张图片， 此项与页码互不影响。

页码：特殊指定某页，比如: 1,2,4,8,9

图片格式：支持png、jpeg、webp

dpi：像素点，会影响打印效果，超过300dpi，人眼是分辨不出来的

保存：建议选择一个空文件夹，图片以页码作为文件名

# TODO

## PDF强力水印

## 

## 图片合成PDF


PDF工具箱有PDF去水印、PDF转Word功能，支持windows、mac的桌面工具类软件

PDF工具箱教程


## 概要

- Q&A
- 多目录多文件编译
- Goland配置支持proto

### Q&A

1. 如何安装protobuf 以及相应的依赖

protoc 是protobuf提供的命令行工具

通过 [github protoc release](https://github.com/protocolbuffers/protobuf/releases/tag/v3.17.3) 下载

mac 可以通过 `brew install protobuf`

go 语言使用protobuf 需要安装插件： `go install google.golang.org/protobuf/cmd/protoc-gen-go`

go 语言推荐安装插件：`go get github.com/gogo/protobuf/protoc-gen-gogofaster`

> gogofast 可以减少指针的使用，减少垃圾回收的时间
>
> Fields without pointers cause less time in the garbage collector. More code generation results in more convenient methods.

2. grpc和protobuf是什么关系，如何配合使用

protobuf 是协议定义的是结构体，方便不同语言之间的参数转换。

grpc是网络通信框架，可以用json、thrift、protobuf作为结构体

grpc不是go语言专有，go语言使用grpc需要安装:  `go get -u google.golang.org/grpc`

go语言grpc配合protobuf使用，需要安装protobuf插件: `go install google.golang.org/grpc/cmd/protoc-gen-go-grpc`

如何编译protobuf后面说。



### 多目录多文件编译

多目录结构：

```shell
➜  protobuf-compile tree
.
├── Makefile
└── proto
    ├── article
    │   ├── article.pb.go
    │   ├── article.proto
    │   ├── message.pb.go
    │   └── message.proto
    └── user
        └── author.proto
```

有多个微服务，用户中心/文章中心/审核中心 不同的团队服务通过grpc接口提供基础数据访问。这时候都是直接下发protobuf文件来方便传递数据

拆分多个目录，多个包相对来说就比较好维护protobuf文件。万一对方改了多个proto文件，直接丢给我们一个目录。我们也直接将目录覆盖

message 需要关联article的信息。同时还需要关联user包中的author。

到这需要先弄明白protobuf是如何import其他文件的。

1. protobuf支持相同目录下的文件直接import

```protobuf
syntax = "proto3";
option go_package = "protobuf-compile/proto/article;article";

package article;

import "article.proto";

message Message {
  int32 id = 1;
  string title = 2;
  string content = 3;
  string articleId = 4;
  article.Article article = 6;
}
```

artitle和message是在同一个包下面的，可以直接import即可。

2. 如果是多个目录，需要指定相对的根路径

--proto_path 指定根路径

推荐直接以项目路径作为根路径的：

```protobuf
syntax = "proto3";
option go_package = "protobuf-compile/proto/article;article";

package article;

import "protobuf-compile/proto/article/article.proto";
import "protobuf-compile/proto/user/author.proto";

message Message {
  int32 id = 1;
  string title = 2;
  string content = 3;
  string articleId = 4;
  user.Author author = 5;
  article.Article article = 6;
}
```

此时的import就都是绝对路径，这是就不能即有相对路径，又有绝对路径了，否则会报错：

```protobuf
syntax = "proto3";
option go_package = "protobuf-compile/proto/article;article";

package article;

import "article.proto";
import "protobuf-compile/proto/user/author.proto";

message Message {
  int32 id = 1;
  string title = 2;
  string content = 3;
  string articleId = 4;
  user.Author author = 5;
  article.Article article = 6;
}
```

```shell
protoc /Users/admin/Documents/github.com/protobuf-compile/proto/article/*.proto \
                --proto_path=/Users/admin/Documents/github.com \
                --proto_path=/Users/admin/Documents/github.com/protobuf-compile/proto/article \
                --go_out=plugins=grpc:/Users/admin/Documents/github.com
article.proto:10:9: "article.Article.id" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:11:10: "article.Article.title" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:12:10: "article.Article.content" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:13:15: "article.Article.author" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:9:9: "article.Article" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:17:9: "article.SearchArticleResponse.code" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:18:10: "article.SearchArticleResponse.error_message" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:24:8: "article.SearchArticleResponse.data" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:20:11: "article.SearchArticleResponse.Data.page" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:21:11: "article.SearchArticleResponse.Data.page_size" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:22:11: "article.SearchArticleResponse.Data.count" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:19:11: "article.SearchArticleResponse.Data" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:16:9: "article.SearchArticleResponse" is already defined in file "protobuf-compile/proto/article/article.proto".
article.proto:24:3: "article.SearchArticleResponse.Data" seems to be defined in "protobuf-compile/proto/article/article.proto", which is not imported by "article.proto".  To use it here, please add the necessary import.
protobuf-compile/proto/article/message.proto:6:1: Import "article.proto" was not found or had errors.
protobuf-compile/proto/article/message.proto:15:3: "article.Article" seems to be defined in "protobuf-compile/proto/article/article.proto", which is not imported by "protobuf-compile/proto/article/message.proto".  To use it here, please add the necessary import.
```

**多目录，多文件如何编译**

推荐设置根目录，以绝对路径import文件。protoc编译如何写?

但对对某个目录下的proto文件进行编译：

```shell
# 当前makefile所在目录
CurDir=$(shell pwd)
# 当前项目所在目录 - 根目录
PROJECT_PATH=$(shell cd "../$(dirname "$0")"; pwd)


.PHONY: proto
proto:
	protoc ${PROJECT_PATH}/protobuf-compile/proto/article/*.proto \
		--proto_path=${PROJECT_PATH} \
		--go_out=plugins=grpc:${PROJECT_PATH}

	protoc ${PROJECT_PATH}/protobuf-compile/proto/user/*.proto \
		--proto_path=${PROJECT_PATH} \
		--go_out=plugins=grpc:${PROJECT_PATH}
```

编译后：

```
.
├── Makefile
└── proto
    ├── article
    │   ├── article.pb.go
    │   ├── article.proto
    │   ├── message.pb.go
    │   └── message.proto
    └── user
        ├── author.pb.go
        └── author.proto
```

### Goland配置支持protobuf

需要安装插件： Protocol Buffers Editor

配置：Preferences > Languages & Frameworks >Protocol Buffers

取消： Configure automatically

添加：根目录所在目录

![protobuf-compile](/images/blog/1/golang/assert/protobuf-compile.png)



微服务之间的protobuf文件如何优雅的维护

grpc protobuf插件安装,多目录(多包)编译


### 背景：

数据库是联合主键，取出数据后存在map里面按主键直接取数据，以 date + campaign_id + adgroup_id + ad_id 作为唯一索引。以 struct做为map key是可以的，但是struct中有 time.time 不确定是否可行。

官方给出的答案是：key1 == key2 ，能否可以比较

实践了几种需要作为hash map key的情形：

1. pointer
2. struct
3. channel
4. slice



### 实践：

**struct 作为map key**

struct包含time、int64 ，2者都是可以相互比较的，struct就是可比较的。

```go
type TimeStruct struct {
	Date time.Time
	Id   int64
}

func main() {
	dat, _ := time.Parse("2006-01-02", "2021-06-22")

	t1 := TimeStruct{
		Date: dat,
		Id:   1,
	}

	t2 := TimeStruct{
		Date: dat,
		Id:   1,
	}

	mapList := map[TimeStruct]int64{
		TimeStruct{
			Date: dat,
			Id:   1,
		}: 1,
		TimeStruct{
			Date: dat,
			Id:   2,
		}: 2,
	}

	fmt.Println("> 输出：", mapList[t1], mapList[t2])
}

> 输出：1 1
```

在试一下结构体中包含 sync.mutex

```go
type TimeStruct struct {
  Date time.Time
  Id   int64
  mu   sync.Mutex
}
fmt.Println("> 输出：", mapList[t1], mapList[t2])
> 输出： 1 1
```

mutex 同样是一个结构体, 里面包含state，sema都是可以比较的。所以包含mutex也是可以比较。

```go
type Mutex struct {
	state int32
	sema  uint32
}
```



**pointer作为map key**

指针在go中是可以进行比较的，但是不能运算，理论上也是可以作为map key。但是不太建议作为map key取值。

指针指向的是内存地址。内存地址一样才是相同的。即使结构体的值一样，如果属于2个不同的变量，那么内存地址就是不一样的无法作为取到 map value的。

t2就是直接变量指针作为key，t2可以取到对应的值，t1与map 第一个key内存地址不一致无法取到对应的值。

```go
type TimeStruct struct {
		Date time.Time
		Id   int64
		mu   sync.Mutex
	}
	dat, _ := time.Parse("2006-01-02", "2021-06-22")
	t1 := TimeStruct{
		Date: dat,
		Id:   1,
		mu:   sync.Mutex{},
	}
	t2 := &TimeStruct{
		Date: dat,
		Id:   2,
		mu:   sync.Mutex{},
	}
	mapList := map[*TimeStruct]int64{
		&TimeStruct{
			Date: dat,
			Id:   1,
			mu:   sync.Mutex{},
		}: 1,
		t2: 2,
	}
	fmt.Println("> 输出：", mapList[&t1], mapList[t2])

> 输出： 0 2
```



**channel struct作为map key**

go make(chan string) 以后返回的是指针。channel作为map key 可以和 指针结构体作为map key 看作是同一个问题:

```go
fmt.Printf("%+v", make(chan string, 0))

0xc00008c060
```



**slice struct 作为map key**

看了make chan返回指针以后，make slice也是返回的指针？不是

slice不能作为map key，slice 无法进行相等比较的

Invalid operation: t1 == t2 (the operator == is not defined on []string)

数据库有联合主键，取出数据后存在map里面按主键直接取数据

go语言struct能否作为map的key


网站地址：[https://www.douyacun.com/image/ocr-to-docx](https://www.douyacun.com/image/ocr-to-docx)

**功能特点：**

1. 识别图片上的文字
2. 按照图片文字样式进行格式化
3. 导出为word文档
4. 2算法实现：googel-tesseract-ocr / easyocr
5. 借助开源库实现，功能免费

**背景：**

几天前媳妇给了我一张图片，让我把图片上的内容导出来为可以编辑，识别图片文字的软件有挺多的了，不过能相对格式化的不多，借这次东风就顺便了解了一下文字识别（OCR）相关的技术，经过一段时间摸底之后找到了3种比较靠谱的方式

最先接触到的第一个开源工具Tesseract，大家说的比较多是Tesseract对于中文不是很友好，识别率不高。在我多次调试配置之下发现他们都是没有用心学习Tessract，实践下来发现：中文识别率较高，中文标点准确。cpu识别速度可以接受。

第二个了解到的工具请教了一下搞算法的同学，他告诉我用百度云的接口，中文识别率较高，速度快，API可享每天1000次免费调用，对于我来说尝鲜足够了。要是做成一个功能就比较费钱了。

第三个工具是在逛Github途中发现的，easyocr，尝试下来总结：中文识别  率较高，中文符号识别率不高，有人提过issue，作者也在3.0.1的版本进行了修复，实验了几次还是不准。CPU速度较慢，没有GPU所以没有尝试GPU的速度如何。

测试用例1:

![douyacun-tesseract-测试](/images/blog/1/tools/assert/tesseract-demo1.png)

Tesseract-or识别结果：

![douyacun-免费文字识别](/images/blog/1/tools/assert/tesseract-demo1-result.png)

**技术实现：**

- tesseract-ocr（40.4k star）: https://github.com/tesseract-ocr/tesseract  c++ 语言实现
  - pytesseract（3.7k star）: https://github.com/madmaze/pytesseract  python对tesseract-ocr的包装
  - goesseract （1.5k star）：https://github.com/otiai10/gosseract go语言对tesseract-ocr的包装
- easyocr （1.7k star）: https://github.com/JaidedAI/EasyOCR python语言实现

最终选择 pytesseract + easyocr 来实现的功能，2个包都是python实现，可以多一种替代方案。python-docx来保存docx

easyocr 返回的只是bbox位置信息

```json
([[462, 162], [1376, 162], [1376, 264], [462, 264]], '会议签到小程序 MRD 文档', 0.6382400515609702)
# （左上 右上 左下 右下），内容，可信度
([[177, 473], [435, 473], [435, 539], [177, 539]], '1.行业背景', 0.8461557775997883)
```

判断上下2行文本是否属于同一行的内容就需要根据bbox x、y信息判断。

而pytesseract 提供了hocr的方式，Block/TextBlock/line 可以比较方便判断是否为同一段落的内容，甚至可以区分左右分页段落

```xml
<ComposedBlock ID="cblock_0" HPOS="467" VPOS="175" WIDTH="900" HEIGHT="75">
  <TextBlock ID="block_0" HPOS="467" VPOS="175" WIDTH="900" HEIGHT="75">
    <TextLine ID="line_0" HPOS="467" VPOS="175" WIDTH="900" HEIGHT="75">
      <String ID="string_0" HPOS="476" VPOS="175" WIDTH="133" HEIGHT="75" WC="0.93" CONTENT="会"/><SP WIDTH="15" VPOS="175" HPOS="609"/>
      <String ID="string_1" HPOS="624" VPOS="176" WIDTH="51" HEIGHT="70" WC="0.92" CONTENT="议"/><SP WIDTH="30" VPOS="176" HPOS="675"/>
      <String ID="string_2" HPOS="705" VPOS="177" WIDTH="116" HEIGHT="72" WC="0.88" CONTENT="签到"/><SP WIDTH="7" VPOS="177" HPOS="821"/>
      <String ID="string_3" HPOS="828" VPOS="177" WIDTH="105" HEIGHT="72" WC="0.95" CONTENT="小"/><SP WIDTH="5" VPOS="177" HPOS="933"/>
      <String ID="string_4" HPOS="938" VPOS="171" WIDTH="108" HEIGHT="106" WC="0.91" CONTENT="程序"/><SP WIDTH="-7" VPOS="171" HPOS="1046"/>
      <String ID="string_5" HPOS="1039" VPOS="191" WIDTH="154" HEIGHT="50" WC="0.91" CONTENT="MRD"/><SP WIDTH="25" VPOS="191" HPOS="1193"/>
      <String ID="string_6" HPOS="1218" VPOS="176" WIDTH="149" HEIGHT="73" WC="0.96" CONTENT="文档"/>
    </TextLine>
  </TextBlock>
</ComposedBlock>
```

- HPOS: 横向距离 X轴
- VPOS: 竖向距离 Y轴
- WIDTH: 宽度
- HEIGHT: 高端

使用这4个参数可以计算出像bbox一样的位置信息。

相应的代码实现在github：https://github.com/douyacun/ocr-to-docx



识别图片上的文字，格式化导出word

如何识别图片文字格式化导出为word


特点：

1. 支持传参IP定位，如果不传参数IP，默认使用当前客户端的IP地址定位

2. 支持前端jsonp调用，避免跨域

    

# 接口调用


**接口地址:**

 `https://www.douyacun.com/api/openapi/geo/location`

**请求方法:**  

`HTTP GET`

**参数：**

- `ip` :  `118.28.8.8`

**header:**

- `token` : `eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY`

> 此token仅用于测试使用，限流 1次/s，大家共享此token

**限流**

- 开通接口权限 <a name="token"></a>
    - 关注微信公众号，私信说明开通 **开通IP定位API**, 自动创建并回复token

- QPS 默认 5/s, 最大并发10/s, 10万次/天， 
- QPS 可以增加到 10/s，最大并发20/s, 100万次/天，够用了。。。。
- 更大频次需要支付流量费用，100元长期支持，不限频次


![douyacun](https://www.douyacun.com/static/image/douyacun%E5%BE%AE%E4%BF%A1%E5%85%AC%E4%BC%97%E5%8F%B7.png)

**示例1:**

 `curl "https://www.douyacun.com/api/openapi/geo/location?ip=178.252.91.188&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY"`

**响应：**

```json
{
    "code": 0,
    "message": "success",
    "data": {
        "countryCode": "CN",
        "country": "中国",
        "province": "浙江",
        "city": "杭州",
        "ip": "47.98.208.18",
        "latitude": "30.29365",
        "longitude": "120.16142",
        "zipcode": "310099",
        "timezone": "+08:00",
        "refer": "douyacun.com"
    }
}
```

**示例2:**

 `curl "https://www.douyacun.com/api/openapi/geo/location?ip=178.252.91.188&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY"`

**响应:**

```json
{
    "code": 0,
    "message": "success",
    "data": {
        "countryCode": "RU",
        "country": "Russian Federation",
        "province": "Sankt-Peterburg",
        "city": "Saint Petersburg",
        "ip": "178.252.91.188",
        "latitude": "59.89444",
        "longitude": "30.26417",
        "zipcode": "196240",
        "timezone": "+03:00",
        "refer": "douyacun.com"
    }
}
```

# jsonp调用

**接口地址：**

`https://www.douyacun.com/api/geo/location?callback=__jp0&&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY`

**示例:**

 `curl "https://www.douyacun.com/api/geo/location?callback=__jp0&&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY"`

**响应:**

```
__jp0(
{
    "code": 0,
    "message": "success",
    "data": {
        "countryCode": "CN",
        "country": "中国",
        "province": "天津",
        "city": "天津",
        "ip": "118.28.8.8",
        "latitude": "39.14222",
        "longitude": "117.17667",
        "zipcode": "300120",
        "timezone": "+08:00",
        "refer": "douyacun.com"
    }
}
)
```



免费ip地理位置(GEO IP)接口



# 安装依赖

```shell
yum install autoconf automake libtool pkgconfig.x86_64 libpng12-devel.x86_64 libjpeg-devel libtiff-devel.x86_64 zlib-devel.x86_64 gcc gcc++
```

- Leptonica-1.79

```shell
wget http://www.leptonica.org/source/leptonica-1.79.0.tar.gz
tar -zxvf leptonica-1.79.0.tar.gz
cd leptonica-1.79.0
./configure --prefix=/usr/local/leptonica-1.79.0
make && make install

export PKG_CONFIG_PATH=/usr/local/leptonica-1.79.0/lib/pkgconfig
```

# 安装 tesseract 4.1.1 稳定版本

```shell
wget https://github.com/tesseract-ocr/tesseract/archive/refs/tags/4.1.1.zip

./autogen.sh
./configure --prefix=/usr/local/tesseract-4.1.1
make && make install
```

看下tesseract支持的语言
```
tesseract --list-lang
```

如果报错：
```
Error in pixReadMemJpeg: function not present
Error in pixReadMem: jpeg: no pix returned
Error during processing.

Error in pixReadMemTiff: function not present
Error in pixReadMem: tiff: no pix returned
Error in pixaGenerateFontFromString: pix not made
Error in bmfCreate: font pixa not made
Error opening data file /usr/local/share/tessdata/eng.traineddata
```
说明 jpeg 的依赖库没有安装， 执行:
```
yum install libpng12-devel.x86_64 libjpeg-devel libtiff-devel.x86_64 -y 
```
然后重新编译 Leptonica-1.79

安装训练文件：eng + chi_sim

```shell
wget https://github.com/tesseract-ocr/tessdata_best/blob/master/chi_sim.traineddata /usr/local/share/tessdata
wget https://github.com/tesseract-ocr/tessdata_best/blob/master/eng.traineddata /usr/local/share/tessdata

export TESSDATA_PREFIX=/usr/local/share/tessdata
```

# 安装Tesseract 5.0

```shell
git clone https://github.com/tesseract-ocr/tesseract.git
cd tesseract
./autogen.sh
./configure --prefix=/usr/local/tesseract-5.0 
make && make install
```

训练文件安装步骤 和 4.0 相同




centos7 安装 tesseract4.1.1 tesseract5.0




**在线网站地址：[https://www.douyacun.com/pdf/remove-watermark](https://www.douyacun.com/pdf/remove-watermark)**

**步骤：**

**第一步：**选择文件

![https://www.douyacun.com/pdf/remove-watermark](/images/blog/1/tools/assert/image-20210519200853413.png)

**第二步：**处理图片水印，点击分析文档，此步骤会分析文档中的疑似水印的图片，对与确认是水印的会标记删除，这一步需要确认以免误删或遗漏

![https://www.douyacun.com/pdf/remove-watermark](/images/blog/1/tools/assert/image-20210519201012631.png)

**第三步：**处理文字水印，可以打开文档，尝试选中

![https://www.douyacun.com/pdf/remove-watermark](/images/blog/1/tools/assert/image-20210519201401006.png)

如果可以像下图一样选中文字，可以确定这是文字水印，如下图，需要在填写框中填写粘贴上面的文字： ”微信扫码关注公众号，免费下载更多学习资料“

![https://www.douyacun.com/pdf/remove-watermark](/images/blog/1/tools/assert/image-20210519201601685.png)

**第四步：**点击清理文档，清理完成后，点击下载文档即可



支持去除PDF文档中的 图片/文字/矩阵 水印

pdf文档去水印_remove_watermark


**特点：**

- 中国各大城市，不包括自治州地区，支持的城市地区:  [https://www.douyacun.com/static/中国城市adcode.json](https://www.douyacun.com/static/中国城市adcode.json)
- 预报纬度： 小时预报，7天天气预报，生活指数，空气质量，日升日落时间，尾号限行
- [数据来源于中国天气网](http://www.weather.com.cn/)，长期稳定维护
- 天气数据每小时更新
- 接口支持jsonp调用

**请求限制:**


# 文档

**请求方法**:

- GET

**接口地址:**

- https://www.douyacun.com/api/openapi/weather

**测试Token:**

- eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY
- 此token仅用于测试使用，限流 1次/s，大家共享此token

**测试url：**

`https://www.douyacun.com/api/openapi/weather?province=%E4%B8%8A%E6%B5%B7&city=%E4%B8%8A%E6%B5%B7&weather_type=forecast_hour|forecast_day|alarm|limit|rise|observe|index|air&token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBY2NvdW50SWQiOiJlZWQ4ZmQ1ODBmYTRmNjkyIn0.d7qF_mjdXMC0R5M6f04Lnh6x61kaU4lqHT0Axt9xUOY`

**限流**

- 开通接口权限 <a name="token"></a>
    - 关注微信公众号，私信说明 **开通天气API**，自动创建并回复token
- QPS 默认 5/s, 最大并发10/s, 10万次/天
- QPS 可以增加到 10/s，最大并发20/s, 100万次/天，够用了。。。。
- 更大频次需要支付流量费用，100元长期支持，不限频次次

![douyacun1](https://www.douyacun.com/static/image/douyacun%E5%BE%AE%E4%BF%A1%E5%85%AC%E4%BC%97%E5%8F%B7.png)


**参数:**

| 参数名       | 是否必选 | 类型   | 参数说明                                                     |                             备注                             |
| ------------ | -------- | ------ | ------------------------------------------------------------ | :----------------------------------------------------------: |
| province     | 否       | string | 省份                                                         |                             北京                             |
| city         | 否       | string | 城市                                                         |                             北京                             |
| adCode       | 否       | string | 城市AdCode                                                   | [城市code](https://www.douyacun.com/static/%E4%B8%AD%E5%9B%BD%E5%9F%8E%E5%B8%82adcode.json) |
| ip           | 否       | string | ip地址定位                                                   |                        60.207.131.25                         |
| callback     | 否       | string | jsonp调用参数                                                |                                                              |
| token        | 是       | string | [token申请](#token)                                          |                                                              |
| weather_type | 是       | string | forecast_hour\|forecast_day\|alarm\|limit\|rise\|observe\|life_index\|air |                           `|` 分割                           |

**备注:**

- 如果不传参数将会使用 IP 定位城市

- 参数优先级：province,city > adcode > ip 
- weather_type
    - `forecast_hour` 小时预报
    - `forecast_day` 7天天气预报
    - `alarm` 报警
    - `limit` 限行
    - `rise` 日出日落时间
    - `observer` 今日天气
    - `life_index` 生活指数
    - `air` 空气质量

**响应JSON**

```json
{
    "code": 0, // 0 成功
    "data": {
       // air 空气质量
        "air": {
            "aqi": 55, // 空气质量
            "aqi_level": 2,// 空气质量等级
            "aqi_name": "良",// 空气质量等级
            "pm10": "59",// Pm10 总悬浮颗粒物是指漂浮在空气中的固态和液态颗粒物的总称，[1]其粒径范围约为0.1-100 微米
            "pm2.5": "21",// pm2.5 细颗粒物指环境空气中空气动力学当量直径小于等于 2.5微米的颗粒物
            "co": "1",// 一氧化碳
            "no2": "11",// 二氧化氮
            "so2": "13",// 二氧化硫
            "update_time": "20210425120000"
        },
        // alarm 报警
        "alarm": [
            {
                "detail": "哈尔滨市人民政府森林（草原）防灭火指挥部、市气象局和市林业和草原局4月24日13:00联合发布全市森林（草原）火险黄色预警信号：预计24下午至26日，我市以晴或多云天气为主，气温逐步回升，最高气温15到19℃，平均风力4到5级，阵风7级左右，森林草原火险等级为3级。请各区、县（市）人民政府森林草原防灭火指挥部及各有关单位和人员立即按照“预警响应方案”进入三级森林草原防灭火工作状态，做好森林草原防灭火各项措施的落实和扑火准备工作。（预警信息来源：国家预警信息发布中心）",// 报警详情
                "info": "202104241300509532森林（草原）火险黄色",// 报警信息
                "level_code": "00",// 报警级别
                "level_name": "黄色",// 报警级别
                "type_code": "00",
                "type_name": "森林（草原）火险"// 报警类别
            }
        ],
        // 7天预报
        "forecast_day": [
            {
                "day_weather": "阴", // 天气状况
                "day_weather_code": "02",
                "day_weather_short": "阴",
                "day_wind_direction": "北风",// 白天风向
                "day_wind_direction_code": "8",
                "day_wind_power": "4",// 风力
                "day_wind_power_code": "1",
                "max_degree": "7",// 最高温度
                "min_degree": "2",// 最低温度
                "night_weather": "晴",// 白天天气
                "night_weather_code": "00",
                "night_weather_short": "晴",
                "night_wind_direction": "西北风", // 夜晚风向 
                "night_wind_direction_code": "01",
                "night_wind_power": "3",// 夜晚风力
                "night_wind_power_code": "0",
                "time": "2021-04-24" // 日期
            },,,,,,,,,
        ],
        // 小时预报
        "forecast_hour": [
            {
                "degree": "12",// 温度
                "weather": "晴",// 天气
                "weather_code": "00",// 天气代码
                "weather_short": "晴",
                "wind_direction": "北风",// 风向
                "wind_power": "3",// 风力
                "update_time": "2021-04-25 12:00:00"
            },,,,,,,,,,,
        ],
        // 尾号限行
        "limit": {
            "tail_number": "" // 尾号限行
        },
        // 当前天气 
        "observe": {
            "degree": "13",// 温度
            "humidity": "28",// 湿度
            "precipitation": "0",// 降水量
            "pressure": "1010",// 气压
            "weather": "晴",// 天气
            "weather_code": "00",
            "weather_short": "晴",
            "wind_direction": "8",// 风向
            "wind_power": "3"// 风力
        },
        "life_index": {
            "airconditioner": {
                "detail": "您将感到很舒适，一般不需要开启空调。",
                "info": "较少开启",
                "name": "空调开启"
            },
            "allergy": {
                "detail": "天气条件较易诱发过敏，宜穿长衣长裤，远离过敏源，适当佩戴眼镜和口罩。",
                "info": "较易发",
                "name": "过敏"
            },
            "carwash": {
                "detail": "适宜洗车，未来持续两天无雨天气较好，适合擦洗汽车，蓝天白云、风和日丽将伴您的车子连日洁净。",
                "info": "适宜",
                "name": "洗车"
            },
            "chill": {
                "detail": "温度未达到风寒所需的低温，稍作防寒准备即可。",
                "info": "无",
                "name": "风寒"
            },
            "clothes": {
                "detail": "建议着厚外套加毛衣等服装。年老体弱者宜着大衣、呢外套加羊毛衫。",
                "info": "较冷",
                "name": "穿衣"
            },
            "cold": {
                "detail": "昼夜温差较大，较易发生感冒，请适当增减衣服。体质较弱的朋友请注意防护。",
                "info": "较易发",
                "name": "感冒"
            },
            "comfort": {
                "detail": "白天天气晴好，但仍会使您感觉偏冷，不很舒适，请注意适时添加衣物，以防感冒。",
                "info": "较不舒适",
                "name": "舒适度"
            },
            "diffusion": {
                "detail": "气象条件对空气污染物稀释、扩散和清除无明显影响。",
                "info": "中",
                "name": "空气污染扩散条件"
            },
            "dry": {
                "detail": "天气较好，路面比较干燥，路况较好。",
                "info": "干燥",
                "name": "路况"
            },
            "drying": {
                "detail": "天气不错，适宜晾晒。赶紧把久未见阳光的衣物搬出来吸收一下太阳的味道吧！",
                "info": "适宜",
                "name": "晾晒"
            },
            "fish": {
                "detail": "较适合垂钓，但风力稍大，会对垂钓产生一定的影响。",
                "info": "较适宜",
                "name": "钓鱼"
            },
            "heatstroke": {
                "detail": "天气舒适，令人神清气爽的一天，不用担心中暑的困扰。",
                "info": "无中暑风险",
                "name": "中暑"
            },
            "makeup": {
                "detail": "温湿适宜，最好使用SPF20以上防晒霜打底，建议使用中性保湿型化妆品。",
                "info": "防晒",
                "name": "化妆"
            },
            "mood": {
                "detail": "天气较好，空气温润，和风飘飘，美好的天气会带来一天接踵而来的好心情。",
                "info": "好",
                "name": "心情"
            },
            "morning": {
                "detail": "天气不错，空气清新。",
                "info": "适宜",
                "name": "晨练"
            },
            "sports": {
                "detail": "天气较好，无雨水困扰，较适宜进行各种运动，但因气温较低，在户外运动请注意增减衣物。",
                "info": "较适宜",
                "name": "运动"
            },
            "sunglasses": {
                "detail": "白天天气晴朗，太阳辐射较强，建议佩戴透射比1级且标注UV380-UV400的遮阳镜",
                "info": "必要",
                "name": "太阳镜"
            },
            "sunscreen": {
                "detail": "紫外辐射极强，应特别加强防护，建议涂擦SPF20以上，PA++的防晒护肤品，并随时补涂。",
                "info": "极强",
                "name": "防晒"
            },
            "tourism": {
                "detail": "天气较好，温度适宜，是个好天气哦。这样的天气适宜旅游，您可以尽情地享受大自然的风光。",
                "info": "适宜",
                "name": "旅游"
            },
            "traffic": {
                "detail": "天气较好，路面干燥，交通气象条件良好，车辆可以正常行驶。",
                "info": "良好",
                "name": "交通"
            },
            "ultraviolet": {
                "detail": "紫外线辐射极强，建议涂擦SPF20以上、PA++的防晒护肤品，尽量避免暴露于日光下。",
                "info": "很强",
                "name": "紫外线强度"
            },
            "umbrella": {
                "detail": "天气较好，您在出门的时候无须带雨伞。",
                "info": "不带伞",
                "name": "雨伞"
            }
        }
    },
    "message": "success"
}
```











数据来源于中国天气网, 每小时更新一次

中国城市天气接口：小时预报,7天天气预报,尾号限行,生活指数,空气质量,日升日落时间


面试题:

```go
package main

func main() {
	m := make(map[string]*student)
	stus := []*student{
		&student{Name: "zhou", Age: 24},
		&student{Name: "li", Age: 23},
		&student{Name: "wang", Age: 22},
	}
	l := sync.RWMutex{}
	wg := sync.WaitGroup{}
	for _, stu := range stus {
		wg.Add(1)
		go func() {
			defer wg.Done()
			l.Lock()
			local := stu
			// fmt.Println(local)
			m[local.Name] = local
			l.Unlock()
		}()
		//fmt.Println("111")
	}
	wg.Wait()
	fmt.Printf("%+v", m)
}
```

第一次测试输出：

```
map[wang:0xc00000c060]
```

第二次，main gouroutine 是不是和 其他的gouroutine并行, 在 循环中 下打印  `fmt.Println("111")`， 在 goroutine中 打印 stu 看看啥情况，多次运行都是：

```
111
111
111
{zhou 24}
{wang 22}
{wang 22}
map[wang:0xc0000a6020]
```

第一次的输出还是可以想到 闭包指针引用外部变量，那这第二次开始怀疑人生了。我又试了试注释掉 `fmt.Println(local)`

```
第一次:
111
111
111
map[wang:0xc00000c060 zhou:0xc00000c060]

第二次:
111
111
111
map[li:0xc00000c060 zhou:0xc00000c060]
```

见鬼了...



这个问题平常开发也是经常会犯错误的，不过goland可以给出提示出来

1. 闭包引用外部变量是 指针引用，参数传值是值复制

2. main gourouine 和 其他goroutine 都是并发运行的

3. 标准输出阻塞的，所以我们每次打印内容以后导致和想象的结果不一样了

    

1. 闭包指针引用外部变量 2. 标准输出会阻塞

关键字