云环境的美妙之处在于,您可以选择所需的服务并立即开始使用它们,而不是"一刀切"的解决方案。尽管如此,确保企业范围内的最佳实践和合规性(例如ISO27001)有时可能是一个挑战,会产生额外的授权要求和团队之间的摩擦。这种固有的冲突可能会导致消耗云资源的团队与负责寻求组织更大利益的团队之间出现优先级竞争。事实上,69% 的组织表示严格的安全准则和代码审查流程会显着降低开发人员的速度。
考虑到这一点,我们来看看领先的电子商务平台 Trendyol 如何使用Looker可视化从数百个来源获取的 PB 级数据并实现大规模云治理。
平衡创新和风险缓解
在组织内部,很少是使用云服务的单个开发团队,而是各种内部、生产和非生产应用程序的复杂组合,每个应用程序都争夺优先级并具有自己的一组独特需求。此外,重要的是要考虑到各种治理实体(包括 IT 和组织治理以及审计团队)也可能参与其中,并且您需要为所有各方解决问题。
让我们探讨一下两个不同的方面:
自由: 开发人员渴望实验和创新的自由。他们需要快速制作新想法的原型并将其投入生产。如果开发周期需要更长的时间,他们就会犹豫是否做出改变。
治理: 需要进行治理来确保系统安全、可靠和可扩展。这包括执行编码标准、进行安全审查和监控系统性能,尤其是不同团队之间共享的资源。
在云环境中,这些动态可能更具挑战性。例如,在 Trendyol,成千上万的用户利用 Looker 执行日常商业智能任务,包括处理数据和提供有助于优化运营、个性化体验和预测市场趋势的报告。虽然大多数是数据分析师,但整个公司还有许多其他类型的用户使用 Looker,包括商业用户、仓库运营和货运运营。
正如人们所预料的那样,所有这些用户都希望以自己的方式使用数据来加快处理优先事项并改变他们的工作方式,例如设置定期计划将数据从 Looker 传送到 Google Sheets。虽然这些功能提供了获得见解的强大方法,但对于 Trendyol 来说,确保公平有效地采取这些行动以避免影响体验或产生不必要的成本也很重要。
这是许多组织在采用云服务时的常见情况。云功能使团队能够外包繁重的工作并专注于更有价值的业务优先事项。与此同时,他们可能并不总是谨慎或充分意识到风险,这可能会对现有业务产生不利影响------尽管他们的意图是好的。
因此,在创新和风险缓解之间取得适当的平衡至关重要,以创建既提高生产力又安全可靠的系统。
使用 Looker 打造引领潮流的电子商务体验
Trendyol 旨在让用户探索和发现新的见解,同时保持其平台快速、安全且经济实惠。这不仅仅是一项技术挑战,而且需要团队之间的协作和大局思维。
借助 Looker,Trendyol 可以近乎实时地集中现有工具和平台中的关键指标,为其数据分析师、业务用户和其他团队提供简化的数据分析和见解,以支持他们的日常工作流程。此外,Looker 还提供了实现数据治理的简单方法,包括访问控制功能、白名单、作业调度、缓存优化等。为了确保云治理并保持灵活性,Trendyol 的数据仓库团队使用 Looker 创建了一套内部机制和原则。这包括以下内容:
创建官方许可名单。 Trendyol 确定了其顶级用户和内容,以主动创建和维护计划作业的许可名单。我们会持续监控此许可名单中是否有新增内容,并与日程所有者合作定期进行清理,以确定应保留哪些职位。清理过程是自动化的,允许 Trendyol 消除重复的计划,并使计划所有者能够授予权限以允许作业保留在白名单上。
建立用户协作论坛。 Trendyol 建立了正式的计划,供用户加入并相互学习,重点关注表现最佳的人如何利用预定的工作。这包括定期会议、办公时间和其他讨论论坛,以鼓励更好的合作。
分散计划的作业执行时间。 更新和处理数据是 Looker 中计算最密集的任务之一。 Trendyol 定期评估计划的作业是否确实需要在高峰时间执行,并探索替代方案,例如消除重复的作业、调整计划的时间或删除旧的和不必要的作业。
审查工作频率 。评估是否需要安排某些作业频繁重复,并考虑降低该频率以优化资源利用率。例如,团队可能会评估每周安排一次作业是否足以满足用户需求,而不是每天安排多次。
解决僵尸时间表。 如果计划所有者离开公司,Trendyol 会确定另一个计划所有者是否可以接管其计划的作业。如果找不到其他时间表所有者,这些"僵尸"时间表将从 Looker 中删除。
提供中心辐射模型和缓存优化。 Trendyol 采用了中心辐射架构模型,该模型允许公司应用通用业务逻辑,同时允许各个团队定义自己的逻辑以及访问控制规则和策略。 Trendyol 还利用 Looker 的智能缓存机制来避免为类似查询获取冗余数据。
总而言之,Trendyol 发现,将这些努力结合起来并不断努力改进它们,使得大规模提供真正的云治理成为可能。Trendyol 现在可以在高峰时段每天处理超过 260,000 个查询,并让超过 1,500 名员工能够在日常工作中使用 Looker 见解。