部门: 大数据采集

具体内容：

1.在《平台运作》中，选择ebay平台和google作为训练对象；
2.分析平台中信息展示页面代码的结构特点，依此来设计数据采集的数据结构；
3.对每个平台所做的数据采集，力求数据的完整性、反复检查数据对应的正确性（信息不可错位）；
4.建立三套数据采集机制：

a.购买（或者起初使用免费版）数据采集的基础程序，做二次开发（方便、快捷、灵活）；
b.待 a 项测试成功以后，我们自己开发数据采集系统：Python + MySQL + PHP (JAVA)；
布置到远程服务器，预留数据分析接口，在基础工作中，为实现“数据智能化” (Intelligent data) 做好准备。

5.建立完善的数据采集技术体系及管理体系。

a.技术管理：技术文件、资料采用版本管理，针对程序、采集规则、链接制作模板文件要做好版本变化的备注（可以采用版本服务器）；
b.工作管理：建立以“过程控制”（非结果控制）为导向的数据采集部门的工作管理体制；建立针对每项任务的过程控制管理表格，由本部门助理登记、责任人签名。
需要日常登记的事项有：

①.程序、采集规则、链接制作模板文件的改变，采集结果的导出、汇总；
②.每项数据采集任务的执行、中间变换交接；
③.每项任务步骤的时间序列登记；

c.人事架构：部门助理 + 工程师；过程控制，人人负责，助理协调；
不同企业可以根据具体需要确定是否需要设经理一职；
d.保密：

①.与接触数据的工作人员签订保密协议；
②.建立内部工作电脑的监控系统；