数据挖掘

sensen_kiss1 小时前
大数据·数据挖掘·数据分析
INT303 Big Data Analysis 大数据分析 Pt.11 模型选择和词向量(Word Embeddings)我们上次说到我们对模型有很多评估标准。 但是光有评估标准是不够的,我们还要考虑一些其他方面。如果我们的模型只是为了训练而训练,那样我们就会出现过拟合(Overfitting)。 模型过度拟合了训练数据中的无意义模式,这种现象叫“过拟合”。 因此我们需要将模型放在新的数据上进行评估,这便是测试数据。 如果模型在训练集上误差很小,但在测试集上误差很大,说明模型过拟合了,不能真正泛化到新数据。如图所示。 训练数据的均方误差MSE是2.0,但是测试数据的MSE是12.3。
laocooon5238578861 小时前
数据挖掘·数据分析
数据收集, 数据清洗,数据分析,然后可视化,都涉及哪些知识你描述的是数据科学中的核心流程。这是一个综合性极强的领域,涉及多个学科的知识。下图清晰地展示了这四个阶段所涉及的核心知识领域与关键技术栈:
民乐团扒谱机4 小时前
开发语言·人工智能·笔记·matlab·数据挖掘·马尔科夫链·线性系统
【微实验】数模美赛备赛MATLAB实战:一文速通各种“马尔可夫”(Markov Model)目录一、实验目的二、实验原理2.1 马尔可夫核心性质(无后效性)2.2 模型核心要素2.3 三类核心模型对比
_爱明5 小时前
人工智能·数据挖掘·回归
评估回归模型的指标与理解最近在做实验的时候,发现自己对回归模型评估指标的理解与分析还不透彻,在网上查找资料和与现场交流的过程中,产生了对模型评估的一些见解。因此整理此篇文档,以锻炼自己对指标的分析能力,进而提升对模型的评估能力。
醉卧考场君莫笑6 小时前
数据挖掘·数据分析
数据分析常用方法:上Excel函数写法:AVERAGE(数据范围)几何平均数: n个观察值连乘积的n次方根(用于求平均发展速度,平均增长率等)
小王毕业啦6 小时前
大数据·人工智能·数据挖掘·数据分析·数据统计·社科数据·实证数据
2003-2023年 285个地级市邻接矩阵、经济地理矩阵等8个矩阵数据共八个矩阵,各类矩阵通过量化空间关系,为区域政策制定(如交通规划、产业布局)和学术研究(如空间溢出效应、区域收敛)提供关键工具,需根据研究目标灵活选择或组合使用。
2501_941803627 小时前
数据挖掘·数据分析·云计算
在奥斯陆智能水利场景中构建实时水资源调度与高并发水质数据分析平台的工程设计实践经验分享在挪威奥斯陆参与智能水利调度平台建设时,我们面临的核心挑战是:城市供水管网复杂、水质监测点众多,传统定时监测和人工调度无法满足高峰用水和水质异常的实时响应需求。平台需要实现高并发水质数据采集、实时水量调控、异常事件检测和调度优化,同时保证系统高可用和数据准确。
一条破秋裤11 小时前
人工智能·分类·数据挖掘
【文献-1/6】一种高效的非参数特征校准方法用于少样本植物病害分类这是一份关于该文献《An efficient non-parametric feature calibration method for few-shot plant disease classification》的深度分析报告:
kisshuan1239612 小时前
人工智能·分类·数据挖掘
使用YOLO11-C3k2-VSSD模型实现脐橙病害智能检测与分类,从数据准备到模型训练的完整指南在现代农业中,病虫害的及时识别对作物产量和质量有着决定性影响。传统的人工检测方法不仅效率低下,而且容易受主观因素影响。随着计算机视觉技术的快速发展,基于深度学习的病害检测方法为农业生产带来了革命性的变化。本文将详细介绍如何使用YOLO11-C3k2-VSSD模型实现脐橙病害的智能检测与分类,从数据准备到模型训练的完整指南。
kisshuan1239613 小时前
人工智能·分类·数据挖掘
基于RetinaNet的配网设备状态识别与分类_R101_FPN_MS-640-800-3x_COCO模型在电力系统运维中,配网设备的状态监测是确保供电可靠性的关键环节。🔍 传统的人工巡检方式效率低下且容易受主观因素影响,而基于计算机视觉的自动识别技术能够大幅提升运维效率和准确性。本文将详细介绍如何使用RetinaNet模型实现配网设备状态的自动识别与分类,包括数据集准备、模型训练、性能评估等完整流程。🚀
ASD123asfadxv13 小时前
人工智能·分类·数据挖掘
水果图像识别与分类:基于CondInst模型的高精度实例分割实践哈哈,我又来了!!!再次立下flag,开学之后还是要保持更新频率!!!本次用CondInst模型来对水果图像进行识别与分类,检测出不同种类的水果并进行实例分割。那么,老规矩,先上结果图!!!
小哲慢慢来13 小时前
机器学习·分类·数据挖掘
二元分类,机器学习为什么可行?背景为什么我们说机器学习一定能从我们数据集中学到东西,有无理论证明?霍夫丁不等式为了证明这个问题,于是有了霍夫丁不等式。
Python极客之家14 小时前
人工智能·python·机器学习·数据挖掘·毕业设计·知识图谱
基于数据挖掘和知识图谱的医疗智能问诊系统温馨提示:文末有 CSDN 平台官方提供的学长 QQ 名片 :)随着人们生活水平的提高,健康问题日益受到重视。然而,优质医疗资源相对稀缺,医院人满为患,普通患者在面对常见病症时往往缺乏专业的指导,容易产生恐慌或盲目就医。
Watermelo61714 小时前
数据结构·人工智能·语言模型·自然语言处理·数据挖掘·数据分析·json
TOON:一种为大模型设计的JSON压缩型数据结构目录TOON:一种为大模型设计的JSON压缩型数据结构一、精准定义,什么是 TOON?1、JSON 数据格式的局限性
薛定谔的猫19821 天前
数据挖掘·langchain·faiss
RAG(三)文档的加载 基于 LangChain+FAISS 构建本地文档向量检索系统在日常工作中,我们常常需要从大量本地文档(如 TXT、MD、PDF)中快速找到与问题相关的内容,传统的 “关键词搜索” 容易遗漏语义相关的信息,而基于向量检索的方式能实现语义级别的精准匹配。
2501_944934731 天前
数据挖掘·数据分析
高职学历从事运营的困境与数据分析的价值高职学历在运营岗位常因学历门槛难以接触核心项目,而数据分析能力可有效突破这一限制。数据分析不仅能提升运营效率,还能通过量化结果证明个人价值,弥补学历短板。以下从多个维度分析学习数据分析的实际作用,并重点介绍CDA数据分析师证书的助力。
吟安安安安2 天前
人工智能·深度学习·机器学习·分类·数据挖掘·视觉检测
【科研入门】深伪检测分类任务中各个指标的意思Accuracy:准确率 所有视频里,模型预测对的比例 较为直观,但真假视频比例不平衡时会不准确Precision:精确率 模型说是“伪造”的视频里,有多少是真的伪造 公式:Precision = TP / (TP + FP) TP(True Positive,真正例):模型正确预测为正例的样本数量。即实际为正例,模型也预测为正例的情况。 FP(False Positive,假正例):模型错误预测为正例的样本数量。即实际为负例,但模型预测为正例的情况。 Precision 高 → 说明模型不乱扣帽子
星川皆无恙2 天前
大数据·爬虫·python·机器学习·数据挖掘·数据分析·scikit-learn
气象数据分析:基于python机器学习全国气象数据爬虫可视化预测分析系统在信息科技蓬勃发展的当代,我们推出了一款基于python机器学习全国气象数据爬虫可视化预测分析系统。随着气候变化越发引起全球关注,精准的气象数据和可视化展示变得愈发重要。该系统采用先进的技术和创新的功能,满足用户对实时气象信息和历史天气数据的需求,助力公众、企业和政府做出更明智的决策。在技术层面,我们充分利用Python网络爬虫技术,从中国天气网等权威数据源获取全国实时天气数据历史天气数据,确保数据的及时性和准确性。通过数据清洗和MySQL数据库存储,我们保证了数据的一致性和可靠性。同时,前端技术如HTM
奥特曼_ it2 天前
数据挖掘·数据分析
【计算机毕设】基于Python预制菜可视化数据分析预测推荐系统(完整系统源码+数据库+详细部署教程)✅目录一、项目背景二、研究目的三、项目意义四、项目功能五、项目创新点六、开发技术介绍七、数据库设计八、项目展示
数据猿2 天前
大数据·人工智能·数据挖掘·数据分析
数据猿张艳飞受邀参加中国数据分析行业大会,解析AI与数据分析共生之道“数据猿联合创始人、主编张艳飞于第十届中国数据分析行业大会深度对话行业未来大数据产业创新服务媒体——聚焦数据 · 改变商业