编程笔记

问题

在SpringCloud应用里使用protobuf,通过Maven编译生成对应的类,结果有一个类Idea飘红,无法跳转

1
2
3

message Position{
    double x = 1;
}

• Position正常情况下,应该生成 Position 和 PositionOrBuilder 2个类,出现的问题是Position类飘红,无法跳转

• 安装了Idea官方插件”Protocol Buffers”,正常能从Protobuf文件中的定义跳转到生成的类上,Position只能跳转到
  PositionOrBuilder上

• 在Protobuf文件中还定义了多个其他类,都能正常生成

结果

发现是生成的类文件过大,修改Idea配置,解决”The file size exceeds configured limit”
问题后能正常跳转了

Idea菜单栏点击”Help”->”Edit custom properties” 添加下面的配置,修改文件大小限制

1
2

# custom IntelliJ IDEA properties
idea.max.intellisense.filesize=50000

Error

Error 1835: Malformed communication packet.

错误的数据包格式?

环境

• 阿里云Serverless Mysql
• Mysql 8.0

报错时发现DAS上显示’接入异常’,但是操作数据库写入,查询均正常,只有某个客户端用户操作报错.

几分钟后DAS状态恢复正常,未能复现

file/文件系统

dir/文件夹/目录

创建文件夹

makeDir all:

1
2

-- 传true将路径上所有子目录都会自动创建
makeDir @"c:\temp\test\deleteme\if\you\can" all:true

删除目录

maxscript 2014,2015没有提供内置函数删除目录,需要调用.net类或者外部命令删除,下面的案例使用rmDir命令删除

HiddenDOSCommand [ startpath:unsupplied] [ prompt:unsupplied] [ donotwait:false] [ ExitCode:&variable]

1
2
3
4
5
6

makeDir "C:\\doscmdtest\\"
str = "rmDir C:\\doscmdtest\\"
hiddendoscommand str startpath:"$max" exitCode:&exitcode
exitcode --> 0
hiddendoscommand str startpath:"$max" exitCode:&exitcode
exitcode --> 2 (error since directory does not exist anymore)

File Name Parsing/获取文件名,路径

filenameFromPath

filenameFromPath

返回文件名(包含后缀)

1
2

file="g:\\subdir1\\subdir2\\myImage.jpg"
filenameFromPath file -- returns: "myImage.jpg"

getFilenamePath

getFilenamePath

1
2

参考:

• 3dmax 2015,文件操作
• 调用外部命令
• file name parsing

UI

1
2
3
4
5
6
7
8
9
10
11
12

-- 按钮,点击按钮弹窗展示一张图片
-- layout是弹出窗口的布局,只有一张图片

rollout layout "示例图"
(
 	bitmap bmp  fileName: ("img\\example.png") 
)
button displayImg "查看示例图" across:1 offset:[0,0] align:#center width:100 height:35 
on displayImg pressed do 
(
	createDialog layout 1920 1080
)

通过命令传参

linux系统

1
2

# 通过 GOOS指定系统,GOARCH指定架构
CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build main.go

windows系统

上述命令在powershell,cmd中不可用

通过设置环境变量

1
2
3
4
5
6
7
8
9

#查看go环境变量
go env

# 设置
go env -w GOOS=windows GOARCH=amd64

# 设置完环境变量再构建

go build -o xxx xxx.go

系统,架构值参考

1
2
3
4
5
6
7
8
9
10

$GOOS         $GOARCH     
darwin         386
darwin         amd64
freebsd        386
freebsd        amd64
linux          386
linux          amd64
linux          arm
windows        386
windows        amd64

参考

• go cmd

近来,serverless这个词出现次数愈加频繁,各云厂商也纷纷推出相关的产品和工具,最近也尝试在公
司项目上使用severless去解决一些问题,这里讲讲我的体验.

阿里云FC

阿里云的severless产品,从对已有框架的支持上说,FC的体验非常好,go,java,js,python的各种框架基本都支持,也通过社区/官方提供了完善的demo和模板(serverless devs,工具, demo,模板)

一次线上报表导出的功能异常无法使用,看监控日志,服务器内存有段时间占用高

除内存异常,其他组件都没发现问题,怀疑OOM导致服务挂了,查询服务运行时间,发现确实是重启了.

1
2
3
4
5

# 查看程序pid
ps -aux | grep "xxxx" 

# 通过pid查看启动时间
ps -o lstart,etime -p xxx

go pprof 分析内存占用

分析异常api的功能主要是excel的读写(用的excelize这个库),便用prof测试下内存占用,这里在测试用例读取一个几万行的excel文件(.xlsx),使用go的工具pprof记录内存占用

从.xlsx文件与.csv文件读取对比看,excelize与xlsx读取xlsx文件,比使用encoding/csv包读取csv文件更占内存,相差在2至3倍,前者平均需要4,5GB内存,后者仅占1.7GB左右.

综上,没有特殊需求,简单的表格文件保存可以优先选择csv

文件大小

以下测试使用同样内容的文件,8w行,csv:30.1MB,xlsx:18.7MB

go pprof使用

summary

multipart 用于在http中高效上传文件

“multipart” or “form-encoded data” is a MIME type which contains multiple files.

优点

• ‘application/x-www-form-urlencoded’(在multipart之前用于文件上传的方式)需要在文件上传前encoding,multipart不需要

• stream each part separately(多个文件,对每个文件支持单独流式传输)

样例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

POST /cgi-bin/qtest HTTP/1.1
Content-Type: multipart/form-data; boundary=2a8ae6ad-f4ad-4d9a-a92c-6d217011fe0f
Content-Length: 514

--2a8ae6ad-f4ad-4d9a-a92c-6d217011fe0f
Content-Disposition: form-data; name="datafile1"; filename="r.gif"
Content-Type: image/gif

GIF87a.............,...........D..;
--2a8ae6ad-f4ad-4d9a-a92c-6d217011fe0f
Content-Disposition: form-data; name="datafile2"; filename="g.gif"
Content-Type: image/gif

GIF87a.............,...........D..;
--2a8ae6ad-f4ad-4d9a-a92c-6d217011fe0f
Content-Disposition: form-data; name="datafile3"; filename="b.gif"
Content-Type: image/gif

GIF87a.............,...........D..;
--2a8ae6ad-f4ad-4d9a-a92c-6d217011fe0f--

reference

• multipart
• https://juejin.cn/post/7209464086891036730

在分析一个sql执行计划

1
2
3
4
5
6

explain  
SELECT id,user_id
FROM `order`
WHERE shop_id = xxx and (corp_id = xxx) 
ORDER BY create_time DESC
LIMIT 10

在返回值的extra中看到一个陌生的字眼”Backward index scan”,下面探索下这是个啥

1

Extra:  Using index condition; Backward index scan

explain

output

Table 8.1 EXPLAIN Output Columns

线性变换

常见的线性变换平移、缩放、旋转、投影

三维空间的坐标表示

通常用4x4矩阵表示3D空间中的变换，如平移、旋转、缩放等。

• 旋转变换：矩阵的前三列表示三个坐标轴的旋转变换，每列都是一个长度为3的向量。例如，第一列表示绕X轴旋转的变换，第二列表示绕Y轴旋转的变换，第三列表示绕Z轴旋转的变换。
• 平移变换：矩阵的第四列表示平移变换，它是一个长度为3的向量，表示在每个坐标轴上的平移量。
• 透视变换：矩阵的第四行用于透视变换，通常表示投影平面上的坐标系。
• 缩放变换：矩阵的对角线元素表示缩放变换的比例因子，例如，x轴缩放因子为矩阵的第一个元素，y轴缩放因子为第二个元素，z轴缩放因子为第三个元素。

平移

对于一个3D空间中的点A(x, y, z)，我们可以使用一个4x1列向量表示它，如下所示：

1
2
3
4

x
y
z
1

其中最后一个元素为1，这是为了让矩阵乘法能够正确地进行。
要对这个点进行平移变换，我们可以创建一个如下所示的4x4矩阵：

1
2
3
4

1 0 0 tx
0 1 0 ty
0 0 1 tz
0 0 0 1

其中(tx, ty, tz)表示平移向量。然后，我们可以将该点与矩阵相乘来进行变换，如下所示：

1
2
3
4

x' = x + tx
y' = y + ty
z' = z + tz
1' = 1

缩放

缩放矩阵

1
2
3
4

sx  0   0   0
0   sy  0   0
0   0   sz  0
0   0   0   1

缩放后点A为A’

1
2
3
4

x' = x*sx
y' = y*sy
z' = z*sz
1' = 1

旋转

透视

参考

• 线性变换
• 三维矩阵表示变换