大数据

飞飞传输3 小时前
大数据·运维·安全
飞驰云联文件交换建设方法论:从单点传输到持续治理企业文件交换通常从具体业务需求起步:研发图纸交付、报表上传、分支数据回传或供应商资料收发。FTP、共享目录和同步脚本可以解决部分单点任务,但随着参与人员、系统和网络边界增加,还需要进一步规划权限、可靠性与审计。本文围绕文件交换建设方法论,梳理从需求盘点到持续治理的实施思路。
得帆低代码PaaS3 小时前
大数据·人工智能·架构·ai agent·企业数字化·mcp
企业级 Agent 架构:MCP、Integration、数据与治理能力本文从工程实现角度梳理这一问题,重点放在系统边界、工具调用、权限控制和结果处理。有人把 MCP 理解成“给大模型接工具的接口”。这个说法不算错,但放进企业环境里,少了几层关键内容。
TDengine (老段)10 小时前
大数据·数据库·人工智能·物联网·时序数据库·tdengine·idmp
TDengine IDMP 十大实用功能(9)一句话:排障的难点从来不是数据不够,是变量太多、时间太紧。IDMP 把相关性分析、回归、聚类、预测放进同一个工作台,再让 AI 从事件出发做根因调查——而且它会明确告诉你哪些解释已经排除、哪些还缺证据。
播播资源11 小时前
大数据·人工智能·深度学习
同账户实测 11 个多模态模型:图像 0.03 元起、竖屏视频 8 元一条,最贵和最便宜差 267 倍多模态 API 的文档里都写着"按次计价",但没有人告诉你"一次"到底值多少钱。图像、视频、音乐三类接口混在一个账户里,账单出来才发现:同样是"一次调用",扣费从 3 算力到 800 算力不等,差 267 倍。
全栈陈序员13 小时前
大数据·git·elasticsearch
Git】从入门到精通(八)—— git log:查看提交历史每次 git commit 都会在版本库里留下一条记录,这些记录串成一条历史长河。git log 就是浏览这条长河的"时光机"——它能让你看到每一次提交的详细信息,追溯任何一个文件、任何一行代码的来龙去脉。
演艺大赏14 小时前
大数据
NiFi 从 3 台扩到 25 台:三轮扩容后我才明白,证书必须全量重签、安装包绝对不能拷这是「NiFi 生产集群」系列的第 2 篇。原来只想写"3 台扩到 7 台"那一次,后来发现真正值钱的是三轮扩下来之后才看清的两条铁律。
做科研的周师兄14 小时前
java·大数据·开发语言
【R语言实战】MixSIAR 氢氧同位素水源解析全流程:从混合空间校验到贝叶斯 MCMC 收敛诊断(后附完整代码)在生态水文学与环境地学研究中,利用氢氧稳定同位素解析植物水分吸收来源(土壤不同剖面水、地下水、降水、地表水)或河流补给组成已成为标准范式。
isfox15 小时前
大数据
MapReduce 数据清洗:脏数据进来,干净数据出去,连 Reduce 都省了数据清洗是数据分析的第一步,也是最重要的一步——"垃圾进,垃圾出",数据不干净,后面的分析全是错的。清洗就是三件事:
Francek Chen17 小时前
大数据·数据仓库·hive·hadoop·sql
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
其实防守也摸鱼1 天前
大数据·前端·人工智能·chrome·算法·安全·网络安全
个人学习 Pwn 思路:从基础到漏洞利用的进阶路径Pwn 的核心是“信息收集 -> 寻找漏洞 -> 构造利用链 -> 编写 Exploit”。把题目附件下载下来后,第一件事不是开 IDA,而是用命令行工具摸底。
美林数据Tempodata1 天前
大数据·人工智能·数字化转型·产教融合·ai教育
高职大数据技术专业升级的六个落地样本:从产业链需求库到实训室数据链路高职大数据技术专业(510205)的培养重心正在移动:从“用数据做报表”移到“为模型造数据”。对工程与数据类岗位来说,报表分析只是末端动作,前端的数据采集、存储治理、管道开发才是工作量主体。培养方案要按这个重心重排,课程、实训室、师资随之调整——这套逻辑此前已经说清,剩下的问题是:做出来究竟是什么样?
跨境卫士苏苏1 天前
大数据·人工智能·市场营销·跨境电商·营销策略
TikTokShop关联账户认定指引更新跨境代运营团队需要注意哪些管理责任TikTokShop关联账户认定指引更新跨境代运营团队需要注意哪些管理责任平台对关联账户的识别正在从静态资料核验,转向对运营链路和实际控制关系的交叉判断。对跨境代运营团队而言,过去“多店铺分别登录、分别上架”的做法已不足以证明独立经营;设备、网络、人员、资金、物流、素材和售后等环节留下的痕迹,都可能成为关联判断的依据。新指引带来的真正变化,是把合规管理从“注册端”前移到“日常运营端”。代运营团队需要承担的不是替商家规避规则,而是把可核验、可解释、可追溯的管理动作嵌入服务流程。
迅易科技1 天前
大数据
数据质量治理:从异常告警走向自动化根因诊断在现代数据中台体系中,数据质量监控已经是标配能力。校验规则、阈值监控、SLA 告警可以及时识别出指标跳变、空值飙升、数据倾斜、一致性异常等问题。但在大量生产实践里,告警只是起点:监控系统仅输出 “指标异常” 这个结果,不输出异常传导链路、根因候选、影响面评估。 这就形成一个典型瓶颈:告警量越大,数据开发、数仓、数据治理团队的排障负担越重。很多企业虽然搭建了完善的数据质量规则体系,但异常处置仍然高度依赖资深数仓工程师的经验,顺着血缘链路逐层回溯,核对上游表、任务调度、数据源、ETL 脚本、同步链路,整个过程
组工部管理能手李哥1 天前
大数据·人工智能·大模型·政务
一次政务知识库体验:AI回答之外,我更在意那行引用来源在政务、法务、合规场景里,一个“看起来合理”的答案,往往还不够。前段时间看政务 AI 产品资料时,我注意到一个很典型的演示:用户问“故意杀人罪的法定刑是什么”,系统给出了一段简洁回答,并在结论后面标了一个引用编号。点击引用后,左侧直接打开《中华人民共和国刑法(全本).pdf》的第 88 页,命中原文被高亮出来。
GrowingIO技术社区1 天前
大数据·数据挖掘·产品
SaaS与私有化部署怎么比较?责任、集成与成本SaaS与私有化部署的区别,不能只概括为“一个省事、一个安全”。实际选择需要同时看数据使用要求、团队维护能力、系统集成和长期成本。
GrowingIO技术社区1 天前
大数据·数据分析
CDP项目如何评估?从业务问题到能力测试客户数据分散,不一定意味着需要再采购一套平台。评估CDP项目时,更重要的是先说明:哪些业务问题无法通过现有系统解决,需要怎样的数据,最终由谁使用。
m0_715674431 天前
大数据·网络·人工智能·安全·网络安全·政务
政务泛监测体系能力排行:AI 重塑监测边界,治理的颗粒度革命[提示句]:粗粒度的表级别监测,不足以守护政务场景海量高敏感个人数据资产。各地省级一体化数据平台汇聚公安、民政、卫健、人社等多个委办局业务数据,承载大量居民个人信息、民生审批档案、社会治理相关高敏感数据。早期不少政务安全监测产品仅能实现表层访问记录采集,只能回答 “谁访问了哪一张数据表”,无法分辨数据表内部不同字段的敏感等级。普通运维人员很难区分访问行为是正常业务调取,还是违规批量抓取个人隐私。AI 驱动的泛监测体系落地之后,可以识别访问账号、访问时间、访问工具、字段敏感等级,直接定位风险发生在具体字段,
GrowingIO技术社区1 天前
大数据·数据挖掘·数据分析
多端用户身份怎么统一?OneID规则与验收清单多端身份统一,应先明确企业要识别的是账号、会员还是具体业务客户,再确定哪些标识能够证明同一身份。OneID的价值在于让跨来源行为能够按一致规则关联,而不是追求更高的合并数量。关联过程需要能解释、纠错,并让标签、人群和分析同步遵守身份规则。
躺柒1 天前
大数据·人工智能·安全·数据安全·安全架构·安全体系
读数据安全架构设计与实践20安全政策文件体系(上)1.1. 数据安全文件体系,即一系列管理、标准与规范、流程、指南、模板等文件的文档化记录1.2. 当企业开始规范化运作的时候,特别是需要通过外部的认证、测评的时候,文档化的文件体系就是必不可少的了
用户3610588626121 天前
大数据·flink
Flink 内存分配源码深度剖析:从启动计算到运行时动态分配的完整链路上一篇讲了 Flink 内存模型的整体架构(TaskManager 总内存 → JVM 进程内存 → 堆内/堆外 → 各内存区域),这篇聚焦 Flink 内存分配的源码深度剖析。TaskManager 启动时如何计算各内存区域大小?MemoryManager 如何管理堆外内存?NetworkBufferPool 和 LocalBufferPool 如何分配网络缓冲?Task 启动时如何分配内存?运行时如何动态申请和释放?Task 完成后如何回收?这篇从源码级别跟踪 Flink 内存分配的完整链路。