数据分析和数据挖掘需要哪些知识 将来想从事统计分析和数据挖掘,需要哪些技能?

[更新]
·
·
分类:互联网
4625 阅读

数据分析和数据挖掘需要哪些知识

将来想从事统计分析和数据挖掘,需要哪些技能?

将来想从事统计分析和数据挖掘,需要哪些技能?

1、数据分析,一定要有精强的EXCEL表格数据处理能力.
2、要有政策敏感性,分析数据,关键点在分析上,要对行业及企业的数据对政策等都有较强的理解能力,信息收集能力.
3、要有对企业行业的本质管理有明确的思维,要擅于挖掘数据之间的关系及反应出来的问题,与经营管理有连带关系.
4、需要为上级领导制定可以影响商业绩效的策略和行动计划,因此要有横向纵向分析的能力.
5、要熟悉PPTSPSS等资料汇总的方法.
6、要针对财务数据分盈余利润等,因此也要有财务管理及成本核算的基础知识.
7、不同行业还有不同要求,比如说工民建的知识,工程造价的知识,销售管理知识等等.这一行需要沉淀,不过从事得当并有突破后,极易成为成功人士,为未来奠定极好的基础.

数据挖掘的分类及各种分析方法是怎样的?

我做数据挖掘相关的工作很多了。简单来谈一下个人对这个问题的看法。有说的不对的地方,欢迎各位同行批评指正:
数据挖掘大概可以分成四类问题,问题不一样,对应的处理方法也不同
1.预测问题:建模数据集合中有X和Y,Y是连续变量。通常用线性模型、随机森林、xgboost算法来解决。评估主要基于测试集上的均方误差或者相对误差。或者计算cross-validation的平均均方误差或者相对误差
2.分类为题:建模数据集合中有X和Y,Y是类别变量。通常用logistic回归、cart、随机森林、xgboost来解决。评估主要基于测试集合上的准确率和召回率或者计算cross-validation的平均准确率或召回率
3.聚类问题:建模数据集合只有X,没有Y。需要把X里面的样本分成多个群组。一般采用K-MEANS算法。不过业界没有统一的评估标准
4.异常检测问题:建模数据集合只有X,没有Y。需要把X数据里面的异常点找出来。这个相对而言比较麻烦。一般用Isolation Forest。业界似乎也没有统一的评价标注。

数据挖掘的形式有?

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。数据挖掘的任务是从数据集中发现模式,可以发现的模式有很多种,按功能可以分为两大类:预测性(Predictive)模式和描述性(Descriptive)模式。在应用中往往根据模式的实际作用细分为以下几种:分类,估值,预测,相关性分析,序列,时间序列,描述和可视化等。
  数据挖掘涉及的学科领域和技术很多,有多种分类法。
  (1)根据挖掘任务分,可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象分,有关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web。
  (2)根据挖掘方法分,可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中,可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法,另外还有面向属性的归纳方法等等。