241118学习日志——[CSDIY] [ByteDance] 后端训练营 [06]

CSDIY:这是一个非科班学生的努力之路,从今天开始这个系列会长期更新,(最好做到日更),我会慢慢把自己目前对CS的努力逐一上传,帮助那些和我一样有着梦想的玩家取得胜利!!!

第一弹:Cpp零基础学习【30 DAYS 从0到1】

第二弹:Cpp刷题文档【LeetCode】

第三弹:Go开发入门【字节后端青训营】

第四弹:Cpp简单项目开发【黑马Rookie】

第五弹:数据结构绪论【数据结构与算法】

第六弹:Go工程实践【字节后端青训营】

第七弹:高质量编程和性能调优【字节后端青训营】

241118------[ByteDance] [02] 高质量编程与性能调优实践

实际开发中,不仅仅需要实现功能,也要让团队其他人看懂。

  • 优秀的功能和效率
  • 清晰的算法思路和编程习惯

1. 高质量编程

正确可靠,清晰简介的代码是受欢迎的

1.1 高质量编程简介

  • 各种边界条件是否考虑完备
  • 异常情况处理,稳定性保证
  • 易读易维护

Go:编程原则 - Go 语言开发者 Dave Cheney

  • 简单性:消除多余的"复杂性",人无法理解的代码无法修复改进
  • 可读性:代码是写给人看的
  • 生产力:团队整体工作效率很重要

1.2 编码规范

如何编写高质量的 Go 代码

  • 代码格式
  • 注释
  • 命名规范
  • 控制流程
  • 错误和异常处理
1.2.1 代码格式

推荐使用 gofmt 自动格式化代码

gofmt / goimports (对依赖包进行增删排序)

某些 IDE 自带格式化功能

1.2.2 注释

Good code has lots of comments, bad code requires lots of comments.

------Dave Thomas and Andrew Hunt

公共符号

一些常量,公开变量

公共符号始终要注释

但有一个例外:不需要注释实现接口的方法。具体不要让开发者去溯源?

实现过程

代码是怎么实现的,在维护代码时也要维护注释

实现原因

提供适合的上下文

限制条件

解释代码在什么情况下会出错

小结

  • 代码是最好的注释
  • 注释应该提供代码未表达出的上下文信息 而不是逐句逐语法解释
1.2.3 命名规范

variab

  • 简介胜于冗长
  • 缩略词全大写
  • 变量距离被使用的地方越远,越需要携带更多的上下文信息

function

  • 函数名不携带包名的上下文信息
  • 函数名尽量简短
  • 函数名可以在不影响歧义的情况下,可以在函数名加入类型信息

package

  • 只由小写字母组成
  • 简短且携带一定信息
  • 不要与标准库同名

尽量满足

  • 不使用常用变量名作为包名
  • 使用单数而不是复数
  • 谨慎使用缩写( format > fmt )

小结

  • 核心目标是降低阅读理解代码的成本
  • 重点考虑上下文信息,设计简介清晰的名称
1.2.4 控制流程
  • 避免 if - else 分支嵌套

  • 尽量保持正常代码路径为最小缩进

小结

  • 线性原理
  • 故障问题大多都出现在复杂的条件语句中
1.2.5 错误和异常处理

简单错误:仅出现一次的错误

复杂错误

错误的 Wrap 和 Unwrap

错误判定

判断一个错误是否为特定错误

在错误链上获取特定种类的错误

panic

  • 不建议在业务代码中使用 panic
  • 若问题可以被屏蔽或解决,建议使用 error 代替 panic
  • 当程序启动阶段发生不可逆转的错误时,可以在 main 函数中使用 panic

recover

  • recover 可以用来解决 panic 引发的进一步错误

  • recover 只能被 defer 函数中使用

  • 在 recover 后在 log 中记录当前调用栈

小结

  • error 尽可能提供简明的上下文信息连,方便定位问题
  • panic 用于真正异常的情况
  • recover 生效范围:在当前 goroutine 的被 defer 的函数中生效

1.3 性能优化建议

性能优化的前提是满足正确可靠、简介清晰

1.3.1 Benchmark

Go 自带的工具

go 复制代码
go test -bench=. -benchmen
1.3.2 Slice

预分配内存(避免频繁扩容)

1.3.3 Map

预分配内存

提前分配好内存可以减少内存和 rehash 的消耗

1.3.4 字符串处理

string.Builder : 转化为字符串时 重新申请了一块空间

实际上也是预分配的逻辑

1.3.5 空结构体

空结构体节省内存

  • 节省资源
  • 不需要任何值,仅仅做占位符

可以用来实现 Set,此时只需要键,而不需要值

1.3.6 atomic 包
  • 锁的实现通过操作系统实现,属于系统调用
  • 通过硬件实现

小结

  • 避免常见性能陷阱
  • 普通应用代码,不要一味追求i性能
  • 越高级的性能手段越容易出问题

2. 性能调优实战

学校里学不到的!

2.1 性能调优简介

  • 要依靠数据而不是猜测
  • 要定位最大瓶颈而不是细枝末节
  • 不要过早优化
  • 不要过度优化

2.2 性能分析工具 pprof 实战

说明

  • 希望知道在什么地方耗费了多少CPU、Memory
  • 可视化分析

开始之前:请查看完整教程:

https://blog.wolfogre.com/posts/go-ppof-practice/

如果要说在 golang 开发过程进行性能调优,pprof 一定是一个大杀器般的工具。但在网上找到的教程都偏向简略,难寻真的能应用于实战的教程。这也无可厚非,毕竟 pprof 是当程序占用资源异常时才需要启用的工具,而我相信大家的编码水平和排场问题的能力是足够高的,一般不会写出性能极度堪忧的程序,且即使发现有一些资源异常占用,也会通过排查代码快速定位,这也导致 pprof 需要上战场的机会少之又少。即使大家有心想学习使用 pprof,却也常常相忘于江湖。
既然如此,那我就送大家一个性能极度堪忧的"炸弹"程序吧!
这程序没啥正经用途缺极度占用资源,基本覆盖了常见的性能问题。本文就是希望读者能一步一步按照提示,使用 pprof 定位这个程序的的性能瓶颈所在,借此学习 pprof 工具的使用方法。
因此,本文是一场"实验课"而非"理论课",请读者腾出时间,脚踏实地,一步一步随实验步骤进行操作,这会是一个很有趣的冒险,不会很无聊,希望你能喜欢。

2.2.1 功能简介
  • Tool工具
  • Sample采样:CPU、Heap、Goroutine
  • Profile分析:网页
  • View展示:Top、Graph、FlameGraph、Source

搭建 pprof 项目

2.2.2 排查实战

保持程序运行,打开浏览器访问 http://localhost:6060/debug/pprof/

可以查看指标:数据平铺

查看 CPU 情况:

查看占用资源最多的函数

命令:top

flat flat% sum% cum cum%
当前函数本身执行耗时 flat占 CPU 总时间的比例 上面每一行的 flat% 总和 当前函数本身加上其调用函数的总耗时 cum 占CPU 总时间的比例

Flat == Cum,函数中没有调用其他函数

Flat == 0,函数中只有其他函数的调用

命令:list

根据指定正则表达式查找代码行

命令:web

生成一个调用关系图,使得调用关系可视化


heap-堆内存

goroutine-协程

  • goroutine 泄露会导致内存泄漏

mutex-锁

block-阻塞

2.2.3 采样过程和原理

CPU

  • 采样对象:函数调用和它们占用的时间
  • 采样率:100次/秒,固定值
  • 采样时间:从手动启动到手动结束
  • 操作系统
  • 进程
  • 写缓冲

Heap - 堆内存

  • 采样率:每分配512KB记录一次
  • 采样时间:从程序运行开始到采样时

Goroutine - 协程 & ThreadCreate - 线程创建

  • Goroutine - 协程:记录所有用户发起且在运行中的 Goroutine
  • ThreadCreate - 线程创建:记录程序创建所有系统线程的信息

Bolck - 阻塞 & Mutex - 锁

  • 阻塞操作:采样阻塞操作的次数和耗时
  • 锁竞争:采样争抢锁的次数和耗时

2.3 性能调优案例

  • 实际业务服务性能调优案例

  • 对逻辑相对复杂的程序如何进行性能调优

2.3.1 业务服务优化

基本概念

  • 服务:能单独部署,承载一定功能的程序
  • 依赖:
  • 调用链路:能支持一个接口请求的相关服务集合及其相互之间的依赖关系
  • 基础库:公共的工具包

流程

  • 建立服务性能评估手段
  • 分析性能数据,定位性能瓶颈
  • 重点优化项改造
  • 优化效果验证

建立服务性能评估手段

  • 服务性能评估方式
  • 请求流量构造
  • 压测范围
  • 性能数据采集

分析性能数据,定位性能瓶颈

  • 使用库不规范
  • 高并发场景优化不足

重点优化项改造

  • 正确性
  • 响应数据

优化效果验证

  • 重复压测验证
  • 上限评估优化结果

进一步优化,服务整体链路分析

  • 规范上游服务调用接口
  • 分析链路
2.3.2 基础库优化

AB 实验 SDK 优化

  • 分析基础库核心逻辑
  • 内部压测验证
  • 推广业务服务落地验证
2.3.3 Go 语言优化

编译器 & 运行时优化

  • 优化内存分配策略
  • 优化代码编译流程
  • 内部压测验证
  • 推广业务服务落地验证

2.4 总结

  • 性能调优原则
    • 要依靠数据而不是猜测
  • 性能调优工具 pprof
    • 熟练使用 pprof 工具排查性能问题并了解其基本原理
  • 性能调优
    • 保证正确性
    • 定位主要瓶颈

碎碎念:每周一可以说是最怕的日子,有很多DDL,但还是挺过来了。跟上字节的课可以说有点困难。。。很多时候都想放弃,但是后端入门篇就这样被我水过去了...谁知道呢,后面的课程会更加虐,但我一想到CSDIY里面的话,我就心有余甘...很多时也想过放弃和偷懒,也想过自己是不是在假努力,但谁说学了一定要会呢?我就是喜欢做笔记的感觉,我就是喜欢敲键盘(打字)怎么了???所以呢,还是不想给自己借口。

与君共勉。

相关推荐
数据的世界011 小时前
.NET开发人员学习书籍推荐
学习·.net
四口鲸鱼爱吃盐1 小时前
CVPR2024 | 通过集成渐近正态分布学习实现强可迁移对抗攻击
学习
OopspoO3 小时前
qcow2镜像大小压缩
学习·性能优化
A懿轩A4 小时前
C/C++ 数据结构与算法【栈和队列】 栈+队列详细解析【日常学习,考研必备】带图+详细代码
c语言·数据结构·c++·学习·考研·算法·栈和队列
居居飒4 小时前
Android学习(四)-Kotlin编程语言-for循环
android·学习·kotlin
kkflash34 小时前
提升专业素养的实用指南
学习·职场和发展
1 9 J5 小时前
数据结构 C/C++(实验五:图)
c语言·数据结构·c++·学习·算法
6.946 小时前
Scala——身份证号码查询籍贯
学习·scala
爱吃西瓜的小菜鸡6 小时前
【C语言】矩阵乘法
c语言·学习·算法
初学者7.7 小时前
Webpack学习笔记(2)
笔记·学习·webpack