大数据的开发学什么

　　大数据的开发

　　1.数据采集

　　数据采集有线上和线下两种方式，线上一般通过爬虫，通过抓取或者通过已有应用系统的采集。在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫(使用Python或者Node.js制作爬虫软件)，ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页中专项爬取数据。如果这一步通过自动化系统来做的话，可以很方便的管理所有的原始数据，并且从数据的开始对数据进行标签采集，可以规范开发人员的工作，同时目标数据源可以更方便的管理。数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver、mongodb、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将它们规整、有方案地整理进我们的大数据流程中也是必不可缺的一环。

　　2.数据汇聚

　　数据的汇聚是大数据流程关键的一步，你可以在这里加上数据标准化，你也可以在这里做数据清洗，数据合并，还可以在这一步将数据存档，将确认可用的数据经过可监控的流程进行整理归类，这里产出的所有数据就是整个公司的数据资产，到了一定的量就是一笔固定资产。数据汇聚的难点在于如何标准化数据，例如表名标准化，表的标签分类，表的用途，数据的量，是否有数据增量?数据是否可用?这些需要在业务上下很大的功夫，必要时还要引入智能化处理，例如根据内容训练结果自动打标签，自动分配推荐表名、表字段名等，还有如何从原始数据中导入数据等。

　　3.数据转化与映射

　　经过数据汇聚的数据资产如何提供给具体的使用方使用?在这一步，主要就是考虑数据如何应用，如何将两、三个数据表转换成一张能够提供服务的数据。然后定期更新增量。经过前面的那几步，在这一步难点并不太多了，如何转换数据与如何清洗数据、标准数据无二，将两个字段的值转换成一个字段，或者根据多个可用表统计出一张图表数据等等。

　　大数据的应用

　　数据在行业中的应用的越来越广泛，我们先看看大数据在当下有怎样的杰出表现：

　　1.大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督;大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力;电力企业会通过大数据实时做数据的监测和预测，让我们更好、更方便做这种电力的调度;

　　2.医疗中更是有着比较广泛的应用，现在的基因工程以及疾病的预测分析和每个病人的手术方案等等，可能都会用到大数据。大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物;

　　3.大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到合适的交易目标，帮助用户找到合适的商品购买时期、商家和优惠价格;

　　4.大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放度;大数据帮助社交网站提供更准确的好友推荐，为用户提供更的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品;

　　5.大数据帮助娱乐行业预测歌手，歌曲，电影，电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才合适，否则就有可能收不回成本;另外电影其实都是需要渲染的，之前每渲染一分钟可能就需要上千台机器、可能需要一两个月，现在通过云计算、大数据的方式，可能渲染一个一分钟的电影镜头就缩短成了一秒或者两秒。

　　6.大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备;

　　大数据的展望

　　其实，除了以上大数据的应用外，未来大数据的身影应该无处不在，就算无法准确预测大数据终会将人类社会带往到哪种终形态，但我相信只要发展脚步在继续，因大数据而产生的变革浪潮将很快淹没地球的每一个角落。比如，Amazon的终期望是：“成功的书籍推荐应该只有一本书，就是用户要买的下一本书。”Google也希望当用户在搜索时，好的体验是搜索结果只包含用户所需要的内容，而这并不需要用户给予Google太多的提示。

　　而当物联网发展到达一定规模时，借助条形码、二维码、RFID等能够标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析，这些数据能够支撑智慧城市，智慧交通，智慧能源，智慧医疗，智慧环保的理念需要，这些都所谓的智慧将是大数据的采集数据来源和服务范围。未来的大数据除了将更好的解决社会问题，商业营销问题，科学技术问题，还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰，大部分的数据都与人类有关，要通过大数据解决人的问题。