热门文章> 数据挖掘,数据挖掘的内容有哪些 >

数据挖掘,数据挖掘的内容有哪些

36氪企服点评小编
2021-08-04 18:21
1038次阅读

      什么是数据挖掘?数据挖掘的内容与过程是什么?数据挖掘经过几十年的发展和无数专家学者的研究,已经提出了一个完整的过程框架。其中的关键是通过获取正确、完整、综合的数据,进行数据深入分析,寻找到有用的信息。接下来就由小编为您介绍数据挖掘,数据挖掘的内容有哪些。

数据挖掘,数据挖掘的内容有哪些数据挖掘

一、数据挖掘的定义与分类

将隐藏在数据库中的大量数据背后的重要信息,并为企业创造了许多潜在的利润空间,针对这样一个海量数据库中挖掘数据信息的技术叫做数据挖掘(DM)。

按数据库的类型进行:关系型数据库的数据挖掘,数据仓库的数据挖掘,面向对象的挖掘,空间数据库的挖掘,正文库和多媒体数据库的数据挖掘。

按照知识类别划分:关联,特征描述,分类分析,聚类分析,趋势,偏差分析。

根据知识的抽象层:一般的文化知识、基本知识、多层次的知识。

二、数据挖掘的内容(步骤)

01、业务理解(BusinessUnderstanding)

假设你在一家外贸公司工作,一天,你的老板突然对你说:“小明啊,你能不能训练一个模型来预测下一年的公司利润?”

在业务需求方面,要解决这个问题,首先要弄清需求是什么,这被称为业务理解,也可以称为业务理解。例如,你要弄清楚什么是利润,利润的构成是怎样的,利润受什么影响,同时老板说利润是利润还是毛利等等。商业理解,主要是理解数据挖掘要解决的业务问题。企业发起数据挖掘,就是要对企业进行赋能,所以我们必须从商业或者商业的角度去了解项目的最终目标,去分析整个问题所涉及的资源、范围、情景,甚至风险、意外等等。由生意起家,做生意。

02、数据理解(DataUnderstanding)

了解问题,也要了解解决问题所需的数据。例如,这时,你的老板又对你说:“小明啊,我要改变需求,能不能多做一些模型,把竞品公司明年的利润都算出来,我想对比一下。”不过「巧妇难为无米之炊」,你根本没有这份资料,这样的需求也无法完成。虽然数据理解阶段从收集数据开始,但是我认为重点是基于对业务的理解,并清楚地了解我们可以得到的数据,知道哪些数据可能会影响到目标,哪些是多余的数据,哪些数据存在缺陷或缺失,等等。

03、数据准备(数据预置)

以上两步完成之后,就可以准备数据了。你们要找到销售数据,找采购数据要买,找财务要各种收入、支出数据,然后整理所有要用的数据,想办法补全那些丢失的数据,计算各种统计值等。数据化就是根据原始数据,建立数据挖掘模型所需的全部数据集,包括数据采集、数据清洗、数据补全、数据整合、数据转换、特征提取等一系列动作。

04、建造模式(Modeling)

还可以称之为训练模型,在此阶段,我们将向算法提供准备好的数据,因此这一阶段主要要解决技术方面的问题,将选择多种算法模型进行数据处理,让模型学习数据的规律,并输出模型用于后续的工作。对同一数据挖掘中的问题类型,可以选择多种方法。假如要使用多项技术,则要分别对待每个要使用的技术。有些建模方法对数据形式有具体的要求,如SVM算法只能输入数值型数据等。所以,在这个阶段,返回数据准备阶段执行某些任务有时是很有必要的。

05、评估模式(评估)

本研究建立了模型评价阶段一种或多种优质模型。但模型的效果如何,是否能够满足我们的业务需求,这需要使用各种评估方法、评估指标,甚至是让业务人员参与其中,全面地评估模型,回顾在构建模型时所采取的每一步骤,以确保模型达到目标。评价结束后会出现两种情况,一个是通过评估,进入进入上线阶段,另一个是评估没有通过,然后再进行迭代更新。

06、部署模式(Deployment)

收集数据,研究算法模型,经过多方评估,最终进入部署阶段。在这一点上,还需要解决一些实际问题,如长时间运行的模型是否有足够的机器支持、数据量和并发性程度是否会导致已部署的服务问题等。

     然而,数据挖掘的生命周期可能并没有结束,某些特殊情况可能仍无法解决,而且,随着新数据的产生和变化,在后续过程中,我们的模型仍会发生某些变化。因此,部署是挖掘项目的结束和数据挖掘项目的开始。以上就是小编为您带来的数据挖掘,数据挖掘的内容有哪些。

[免责声明]

文章标题: 数据挖掘,数据挖掘的内容有哪些

文章内容为网站编辑整理发布,仅供学习与参考,不代表本网站赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请及时沟通。发送邮件至36dianping@36kr.com,我们会在3个工作日内处理。

消息通知
咨询入驻
商务合作