记录岁月云明细账excel导出的性能优化

财务软件报表还是非常麻烦,因为使用excel最好的就是财务,但是通过java导出excel,使用easyexcel不用报表工具,不是这么容易。采用jprofile对一个导出操作进行监控,其中一家零售企业导出当月全部明细账,检测到工程师编写的这个逻辑执行了2807次。估计很多人难以想想,这种sql是怎么上生产环境的。原因在于如果针对没有多客户的公司,原先的写法是没有问题的,但是针对面向有25万用户的零售企业,这种问题就暴露出来了。

查询条件

导出的报表样式

1 分析需求

有些工程师有洁癖,比如我。别人的代码写不好,干脆重写,而不是改,哪些防御式代码估计工程师本人也未必能看懂。因此第一步是分析需求,而不是看别人代码的的逻辑。

上图分析

  • sheet的名称是根据一级科目创建
  • 报表有两种默认,一种带辅助核算,一种不带辅助核算。
  • 表格中的数据来自查询期间、账套、科目余额、凭证,和计算出来的本期合计和本年累计。

2 分析问题

从sql入手,而不是程序入手原因是因为去理解有些工程师的思路,个性化太强,而sql语句至少有一个标准。是理解起来最容易的语言。

下面查看多次执行的sql到底做了些什么?
2.1 acc_account_balance

通过分析可以看到acc_account_balance 分别执行了571、463、108次,合计执行了1142次



2.2 acc_voucher

acc_voucher执行了363、70、55、45,合计553次




2.3 acc_assisting_accounting

acc_assisting_accounting执行了376、51、42次

2.4 acc_account_set

acc_account_set执行了571次

2.5 acc_account_subject

acc_account_subject执行了36次

3 优化思路指引

  • 数据库:① 查询利用索引。② 减少查询次数。③ 缓存。
  • 程序:① 多线程并发执行,充分利用计算机资源。② 通过程序计算过滤,而不是数据库。
    4 开干
    4.1 使用CompletableFuture加载数据
    使用CompletableFuture中的任务编排,将所需要的数据加载进来,下面的科目是基础资料,采用二级缓存,这里就不讲了,mysql performance schema 实践,这篇文章我已经讲了

从下图可以看到获取数据的时间从50s,下降到268ms,单纯的看数据获取,性能优化了99.47%,速度提升187倍 4.2 组装数据优化

前一个环节只是组装数据,接下来要将这些数据,拼装成excel模板可以用到的数据 。这一款属于业务算法,如果有时间可以重写,但实际改造时间并不会给你太长时间,首先老板会觉得性能优化是员工自身的问题,根本不会在一这个。

我所做的是新建一个v2版本,如果有问题,原来的代码还能用,以免被人诟病,研发工程师内卷,相互轻视的事情也是经常发生的。

接着将上面的数据传入到一个方法中

然后复用之前的一些好的封装逻辑,如果不好可以重写,但还是要注意不要轻易把别人代码删掉,否则那些人有可能会记恨你。

内存中的计算是非常快的,所以筛选也通过流来实现,如下。你会发现你的程序飞快。

因为其他的算法不具备通用性,就不黏贴出来了,但总体思路就是这样,不需要把问题想得太复杂

5 实际效果

导出的sql只需要200多ms,这还是我本地的机器。服务器上更快,这个性能优化已经算是很成功了。

为什么我愿意把这些岁月会计云的优化分享出来,因为技术这东西老板们是不会关心的,这些属于通用性技术,并不像芯片那样具有核心竞争力。有好的经验分享出来,是一种回向。

相关推荐
逍遥德1 小时前
如何学编程之理论篇.03.如何做数据库表结构设计?
开发语言·数据库·性能优化·代码规范·代码复审
知识即是力量ol1 小时前
口语八股——Redis 面试实战指南(终篇):集群与高可用篇、性能优化篇、面试回答技巧总结
redis·面试·性能优化·八股·集群与高可用·回答技巧
a285281 小时前
最新SQL Server 2022保姆级安装教程【附安装包】
数据库·性能优化
钛态2 小时前
Flutter for OpenHarmony:leak_tracker 自动监测内存泄漏,精准定位未释放对象(内存性能优化) 深度解析与鸿蒙适配指南
flutter·华为·性能优化·harmonyos
野犬寒鸦4 小时前
CompletableFuture 在 项目实战 中 创建异步任务 的核心优势及使用场景
java·服务器·后端·性能优化
he___H4 小时前
jvm48-96回
java·jvm·性能优化
玩c#的小杜同学19 小时前
工业级稳定性:如何利用生产者-消费者模型(BlockingCollection)解决串口/网口高频丢包问题?
笔记·学习·性能优化·c#·软件工程
工业HMI实战笔记1 天前
机床设备HMI:加工参数可视化与故障诊断界面
ui·性能优化·自动化·汽车·交互
yuanmenghao1 天前
Linux 性能实战 | 第 20 篇:trace-cmd 与 kernelshark 可视化分析 [特殊字符]
linux·python·性能优化
国科安芯1 天前
航空级电机控制系统的抗辐照MCU功能安全设计与电磁兼容验证方法
单片机·嵌入式硬件·安全·性能优化·架构·安全性测试