为了增加pipeline的运算速度，所以利用集群来进行日志的分析统计。测试数据规模：某机构edX的D版在真实场景下一年多使用记录。
开始日期 2016/11/27
开始时间 2:26:00
结束日期 2016/11/28
结束时间 3:34:00
总时间 23:10:54
日志开始日期 2015/6/7
日志结束日

More.....

前言

本次搭建CDH主要用于edX的数据分析，用于安装pipeline加快运算速度。

架构设计

3+N结构，3台主机负责HDFS主节点、CDH自身服务、YARN的ResourceManager等主要服务。 其他N台负责HDFS的NameNode和YARN的NodeManager，承担计算任务。现初步设计为6台、即3+3

硬件配置

主节点

CPU：双核E5

More.....