大数据分析技能人才培训班结业典礼_经验分享

各位领导、各位同学，大家好！

    作为上一年度的学员，我在这里给大家分享一些所学大数据分析技术在实际工作中的应用经验和心得。

    目前，我们公司有两项业务：一项是外贸；一项是为企业做商务大数据。
为企业做商务大数据这个项目是从我们的外贸项目发展而来的。

    做第一次数据采集，是在2007年，采集ebay美国站点的笔记本电池“laptop battery”栏目下的所有数据。
    目的：找出高交易量的产品种类、高交易量的关键词、成交价格区段分布规律。
理想是丰满的，现实是骨感的！几十万条条数据采集下来了，当时，不知道怎么摆弄。
    这次试验性的工作，让我坚定了一个方向：用数据技术指导业务工作！
    2个程序员、3个数据分析工程师，这就是我们当时的大数据工作组成员。数据分析工具：excel；数据分析方法：excel函数。
    每半个月出一轮新数据、依据数据结果上传一轮产品。每次上传费用ebay收我们大概是USD3000。

    持续试验了将近一年时间，没什么喜色。一天，数据分析主管说道：我们的分析方法缺乏数学理论依据。后来，我在当时的深大MBA课程里面发现了一本书《数据、模型与决策》，如获至宝，我和大家一起以最快的速度啃完这本书后，我们重建分析模型。又经过大半年、多次模型改进，最终，在这单个产品项目中，达到实用效果，发布模型。

    这前后花掉了我们近2年的时间、平均每个月USD6000的试验产品上传费用。

    随着业务的拓展，我们要用的数据量也越来越大，数据来源越来越多，得到的原始数据的格式五花八门。可我们还依旧是在Excel里面用函数的方式做数据处理、分析。大家可想而知，效率多低。而且，很多数据分析，无法实现，达不到目的。

    直到去年，我在大数据技能人才班，学习完这些课程，才恍然大悟：原来真正的数据分析是这样做的！

    回去以后，我们不是简单重构数据分析模型，而是将学到的分析思想、方法、理论（如：SWOT、5W2H、STP、4P等）结合概率论和数理统计、经济学原理（如：边际利润、机会成本等）作为数据分析建模思路，用python语言来实现数据分析建模。得益于在培训中系统的学习，完成这一大步的技术升级，我们只用了三个月时间！

    更值得一提的是，在做关键词的聚类、短文本聚类、长文本聚类分析以及文章特征关键词的提取中，我们用到了所学的K-means聚类方法、神经网络来做机器学习（深度学习）的模型训练（人工智能）。这为我们解决了非结构化数据的结构化处理。更为我们商务大数据项目的开展奠定了坚实的技术基础。

    有了这种大数据挖掘技术自信，目前，我们正在大力拓展商务大数据的应用市场。而且，已经为不少的企业实现数字化经营的转型升级提供了可靠、高效、先进的大数据支持！

    这一切成绩的取得，都要感谢大数据产业技术促进中心，为我们提供了这么好的学习机会！我再次表示由衷的感谢！

 大数据分析培训课程目录
1. 大数据思维
   核心理念，分析过程，基本分析法，综合分析法。
2. 数据分析基础
   分析思路，可视化作图，分析工具：PI；工具：PQ/PP/PV。
3. 数据分析工具
   数据挖掘基础，SPSS挖掘工具，影响因素分析（相关、方差、列联）。
4. 数据挖掘基础
   回归预测，回归优化，时序预测。
5. 数据预处理
   数据预处理，Modeler工具，分类预测（逻辑回归、决策树、神经网络）。
6. 影响因素分析
   分类预测（判别分析、KNN、NBN、SVM），分类模型优化，建模实战。
7. 数值预测模型
   市场细分，客户价值评估，产品定价策略。
8. 分类预测模型
   产品设计优化，产品推荐模型。
9. 专题分析模型
   实训
10. 实战集中训练
    实训、实训考试。