大数据

坐吃山猪2 分钟前
大数据·elasticsearch·搜索引擎
ES08-ES使用IK分词器更换 IK 分词器不是搜索时做的,而是要在 建索引(mapping)阶段指定。完整流程如下:IK 是第三方插件,需要先安装到 ES 节点上:
泡干脆面就番茄18 分钟前
大数据·数据仓库·hive·hadoop
Hive-DML:Load-Insert-Export-Import四种数据进出方式Hive数据进出有四种方式:LOAD DATA(本地复制、HDFS剪切)用于批量加载文件;INSERT SELECT实现表间结果集迁移,支持追加或覆盖;INSERT VALUES可手动插入单行,但生产慎用;INSERT DIRECTORY将查询结果导出至本地或HDFS文件系统;EXPORT/IMPORT则支持整表连同元数据的跨集群迁移。其中,LOAD最高效,INSERT适用于加工逻辑,EXPORT/IMPORT适合表级迁移。核心原则:能用LOAD就不用INSERT,数据操作以文件和批量为主。
加百力21 分钟前
大数据
沪指险守3700点,券商、银行午后发力,创业板跌近3%,半导体尾盘反扑,恒科指跌3%,科网股普跌盘面上, 个股呈现普跌态势,沪深京三市超5000股飘绿,上午半天成交9897亿。沪深两市半日成交额9818亿,较上个交易日放量1290亿。板块方面,AI硬件侧继续深调,存储器、GPU、光模块领跌。煤炭、海运、油气、房地产、钢铁板块下滑。白酒股强势,券商板块短暂异动,医药、传媒股局部活跃。
eBest数字化转型方案1 小时前
大数据·人工智能
快消渠道 AI 落地路线:拍照、数据、决策三阶段的工程逻辑从工程视角看,快消渠道的 AI 不是一个大模型加一套提示词,而是分阶段生长在 SFA/DMS/TPM 之上的能力层。本文拆解三阶段路线背后的工程逻辑:每个阶段的输入是什么、依赖什么、坑在哪里。
百胜软件@百胜软件1 小时前
大数据·人工智能·零售
百胜软件黄飞:让AI真正走进零售,把不确定性变成“胜券在握”2026年,零售行业步入存量精耕时代。AI从“可选项”变为“必选项”,但真正能把AI用好的企业寥寥无几。百胜软件董事长兼CEO黄飞,就是那个试图把“不确定性”变成“胜券在握”的人。
4SAPI1 小时前
大数据·人工智能·gateway·php
官方API、API聚合平台与自建LLM Gateway:三种方案怎么选一个AI项目最初只调用一个模型时,代码里多写一行base_url就够了。但当项目开始接入第二个、第三个模型时,问题不是“多写几行调用代码”,而是不同供应商的SDK、认证方式、错误码体系、流式事件格式开始渗透进业务逻辑。一个客服Agent需要调用Claude处理长对话,一个数据分析模块需要DeepSeek做推理,一个内容生成模块需要Gemini的多模态能力——每个模块都在用自己的方式处理超时、重试和参数映射。三种主流方案——直连官方API、使用API聚合平台、自建LLM Gateway——解决的是同一个问题
ManageEngineITSM2 小时前
java·大数据·运维·前端·数据库·变更管理
工单优先级怎么定?影响×紧急度矩阵的设计与落地方法工单优先级是根据"影响范围"和"紧急程度"两个维度综合计算出的处理顺序,用来回答"这么多工单,先处理哪一张"。 在 ITIL流程 中,最常用的做法是"影响×紧急度"优先级矩阵:影响衡量问题波及多少人、多少业务,紧急度衡量问题需要多快解决。优先级不由提交人的语气决定,也不由工程师的直觉决定,而是由一套统一、可解释的规则决定。
智商网输送线配件2 小时前
大数据·服务器·前端·数据库·自动化
电子制造零散耗材补货实战:小批量混批采购平台怎么选才不停机?市面上的补货平台看起来 SKU 都很多,但实际交付体验差距极大。关键变量不在页面上的商品数量,而在小批量订单真实接单率、现货库存稳定性、非标件交付偏差、应急补货响应时效四个硬维度。下面把几个主流赛道的平台做一次实操层面的拆解。
程序员IT行业2 小时前
大数据·架构
广东行政事业单位物资管理系统选型:先定功能需求,再定部署架构给广东基层单位做物资管理数字化选型,最容易犯的错是上来就比价,忽略首要问题:你要的是带温控、对接自动化设备的智能 WMS,还是轻量化库存物资管理?功能、预算确认之后,再去对比 SaaS 与私有化、独享云与共享多租户架构。本文按照这个逻辑拆解完整选型流程。
橙色云-智橙协同研发2 小时前
大数据·运维·服务器·人工智能·安全
汽车零部件行业:如何应对主机厂的严苛审核?样件合格却被判“死刑”?复盘一次比亚迪SQE的现场审核,这六个字是关键在制造业干久了,你会发现一个怪象:很多老板把“质量”挂在嘴边,却把“合规”扔在脑后。
努力变大白2 小时前
大数据·人工智能·机器学习
把“会说话的模型“变成“会干活的 Agent“副标题:配套代码 AI-Agent-Workflows/chapter_02 全链路拆解 对应章节:第 2 章《核心组件:大语言模型、Prompt 与 Agent》 线索:书本原理 → 示例代码 → 本地落地改造 → 为什么必须这样改 适用:读过《AI Agents In Action(第 2 版)》第 2 章,或正准备把 OpenAI Agents SDK 接到非 OpenAI 后端的人 所属系列:《AI Agents In Action(第 2 版)》代码学习实践系列 · 开篇
starzy19902 小时前
大数据·flink
Flink Task 执行源码深度剖析:从 Task 线程启动到算子链执行的完整链路前面讲了 Flink Task 调度任务的完整链路(创建 Execution → 调度 → 申请 Slot → 部署 Task → 运行执行 → 完成或失败),这篇聚焦 Flink Task 执行的源码深度剖析。Task 部署到 TaskManager 后,Task 线程如何启动?OperatorChain 如何创建?算子的 open()/processElement()/close() 如何调用?数据如何在算子间传递?RecordWriter 和 RecordReader 如何工作?反压机制如何实现?这
KING-WU5123 小时前
大数据·git·elasticsearch
Git 版本控制器实战指南Git 是目前最流行的分布式版本控制系统,广泛应用于软件开发、文档管理和团队协作场景。本文将从 Git 的安装、版本验证、账号注册、项目创建、克隆项目到本地,以及日常开发中最常用的提交与推送操作讲解。
SelectDB技术团队3 小时前
大数据·数据库·数据仓库·elasticsearch·全文检索·日志分析·apache doris
日志场景 Elasticsearch 替换实操:建表、索引、写入链路与查询改写的完整参数摘要:日志与可观测场景用 Apache Doris 替换 Elasticsearch,工程动作集中在建表模型、索引配置、写入攒批与查询改写四处。中信银行信用卡中心日志云平台从 ES 9 台 16c32G 降到 Doris 4 台 8c32G(CPU 约为原来的 1/4),磁盘占用下降 58%、写入峰值提升 32%、查询耗时下降 38%;网易灵犀办公 Eagle 日志检索平台存储从 100TB 降到 30TB;MiniMax 日志可观测中台日均数百 TB,P95 小于 3 秒、计算资源下降 40%、热数据存
大大大大晴天️3 小时前
大数据·spark
每天认识一个组件:Spark CatalystSpark 最早的核心抽象是 RDD,它让用户用函数式 API 表达分布式计算逻辑。RDD 很灵活,但这种灵活性也意味着 Spark 很难理解用户代码的“语义”:一个map 里到底是在过滤字段、转换类型,还是做复杂业务逻辑,系统通常无法可靠判断。
百数平台3 小时前
java·大数据·数据库
低代码安全技术实践:表单 / 流程 / 报表三级权限体系设计解析核心结论:百数以“基础架构-应用安全-业务安全-运营安全”全流程防控为设计原则,提供表单/流程/报表三级细粒度权限体系、覆盖登录行为的审计日志、AES256+HTTPS 多层加密方案,私有化部署模式满足企业对等保合规场景的数据管控要求。
一楼的猫4 小时前
大数据·人工智能·音视频
第十一届中国教育后勤展览会杭州开幕 夏拾光影像为阿里、淘宝闪购提供云相册直播与视频服务 - 夏拾光影像今日(10 月 15 日),第十一届中国教育后勤展览会(CCLE)在杭州大会展中心正式启幕。据中国教育新闻网现场报道,本届展会由中国教育后勤协会主办,以 “高品质健康校园建设” 为核心主题,展示总面积约 4 万平方米,汇聚全国超 400 家参展单位,覆盖智慧后勤、绿色校园、校园服务、安全管理等六大专题展区,是下半年华东地区教育后勤领域规模最大的行业盛会。
程序 代码狂人4 小时前
大数据·分布式·spark
金融数仓体系与核心业务知识详解摘要:本文面向数据开发面试、1104 监管报表开发与金融数仓建模学习,系统梳理银行金融数仓的核心业务知识。文章首先厘清企业级数据仓库与数据集市的关系及常见建设误区,接着介绍 Teradata FS-LDM 经典十大主题域,并深入讲解信贷票据业务中的借据、贴现、转贴现、再贴现概念,以及对公存款账户体系中的基本户、不动户、久悬户与协定存款转活期规则,最后总结业务知识对数据开发的实际价值与面试速记要点。
shujudang4 小时前
大数据·金融·数据挖掘·数据分析
金融行业数据分析平台选型:客户视图、转化诊断与权限管理摘要: 金融机构在私有化环境下构建数据分析体系,核心痛点在于如何将分散的前端触点事件与复杂的后端核心业务状态有效对齐。本文从多端数据模型映射、端到端转化漏斗断点诊断、基于状态触发的运营闭环以及细粒度行列级权限隔离等维度,深入探讨金融私有化数据分析平台的选型依据与架构考量。
Pin_Qing4 小时前
大数据·开发语言·人工智能·程序人生·缓存
同一天,谷歌半价卖旗舰,阶跃翻倍收缓存今天早上打开新闻,我愣了几秒。一边是谷歌:Gemini 4 Argon正式全球上线,推广价输入2美元、输出10美元每百万Token,缓存输入打95%折扣,折后仅0.10美元。有效期到11月30日,12月1日起回到$4/$20。