程序自动化vs人工手动处理

一、背景

在数据系统的运维运营中,经常遇到一些人工定期重复处理的场景,比如以下这些场景:

1、利用Excel中公式/函数,将各类表格型数据进行加工处理,基于生成的图表制作成PPT进行月度汇报;

2、每天人工检核数据系统的离线跑批是否正常并发送值班提醒;

3、提醒业务定期进行操作,如每个月手工上传各类表单型数据;

二、对比

在理想情况下,这些都是可以借助编程脚本或者平台工具进行解决的,然而在实践中,情况却往往比较复杂,需综合考虑架构、成本、安全、工作习惯改变等多种因素,因此依然存在大量的手工操作场景。以下是对比手工操作与自动化操作的优劣:

1、手工操作:

劣势:

繁琐,耗时,具有操作性风险。

依赖某个具体的人,一旦离职或者休假,则容易成为单点风险。

优势:

每个步骤都可控,过程可信。

可随时调整,方便快捷,无需提交开发测试上线发布等流程。

类似程序员中的防御性编程,手工操作可以防御性数据管理。数据不上传,线下手工台账管理,紧握数据的控制权,更有安全感。

2、自动化:

劣势:

底层为黑盒子,依赖外部系统,一旦出错,无法自主解决。

流程固化,一旦数据源或者规则逻辑改变,无法快速调整。

若所有自动化程序基于某一个系统,一旦该系统出现问题,则会出现系统性风险。若涉及到多个系统的打通,带来潜在的系统之间信息泄露的安全风险。

数据暴露给他人或者外部系统,数据的拥有方缺失对数据完全的管控。

优势:

便捷高效,对于一些重复度高(如日频率),操作复杂(步骤多,流程长),可以节省大量人力成本,并且降低了人为操作失误的风险。

在架构合理成本可控的情况下,基于互信的组织文化,自动化可以最大化的发挥性能。

三、案例

在实践中,有这样一个案例,风险管理部的业务需要每月给领导汇报公司产品的运营收益情况。每个月人工操作流程如下:首先将公司内部交易数据导出成表格,利用Excel中的iFind插件获取外部行情数据,然后利用公式函数生成部分图表,然后将图表复制到PPT中,制作最终的展现格式。整个流程操作复杂,耗时长,容易发生操作失误。分析整个流程之后,发现该报告的初始内外部数据在数据仓库中已采集落地,而图表展示则是BI工具的强项,基于系统平台进行自动化处理完全可行,数仓+BI的也是主流的数据服务架构,这些平台都已采购并完成搭建,只需要投入少量的人力开发成本。此外,这些系统也都针对数据安全做了管控,确保数据不会泄露。在实际开发过程中,与业务紧密沟通,最大化还原其手工报告,保持数据、功能及展示效果的一致性。最终项目顺利推进,上线后赢得了业务的认可。

四、总结

手工操作自动化,往小了说,可能就是一个python脚本自动定时发邮件。往大了说,BI、AI本质也是用自动化的系统替代人工重复操作,如何推广这些应用并真正能有实用价值,考虑的角度就远远不只是技术了。扬长避短,才能让技术真正的为人服务。

相关推荐
SelectDB4 分钟前
慢 SQL 诊断准确率 99.99%,天翼云基于 Apache Doris MCP 的 AI 智能运维实践
数据库·人工智能·apache
JIngJaneIL5 分钟前
基于java+ vue交友系统(源码+数据库+文档)
java·开发语言·前端·数据库·vue.js·spring boot·交友
数据知道39 分钟前
为什么要用向量数据库?常用的向量数据库有哪些以及如何选择?
数据库·向量数据库
dixiuapp1 小时前
设备维修记录系统,从数据沉淀到价值挖掘的跃迁
大数据·数据库·人工智能
问道飞鱼1 小时前
【数据库知识】MySQL 多表关联高效实现指南:场景化方案与底层原理
数据库·mysql·多表关联
马克学长1 小时前
SSM校园二手交易平台7fut7(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·ssm 框架·校园闲置资源交易
dblens 数据库管理和开发工具1 小时前
MySQL :5.7与8.0版创建用户与授权、密码认证插件、角色、密码过期策略
数据库·mysql·dblens·mysql创建用户·mysql设置密码·mysql用户授权
曹牧2 小时前
Oracle:字段为值列表
数据库·oracle
亮子AI2 小时前
【Prisma】如何修复(重建)已经损坏的迁移历史?
数据库·prisma
+VX:Fegn08952 小时前
计算机毕业设计|基于springboot + vue职位管理推荐系统(源码+数据库+文档)
数据库·vue.js·spring boot·后端·课程设计