ansible初步–批量升级CDH的jdk

由于要在集群上操作配置、并且即将搭建一个新的集群，所以我不想再像之前一样复制粘贴命令了！！会死人的。。。 so，看了下ansible， 环境:Ubuntu 14.04主机*6 六台服务器运行的命令相同 （前提：已经做完root密钥互信） 安装： sudo apt-get install ansible 配置： sudo /etc/ansible/hosts 添加进去所有主机,并分组，如下 [hadoop] hadoop1.bistu.edu.cn hadoop2.bistu.edu.cn hadoop3.bistu.edu.cn hadoop4.bistu.edu.cn hadoop5.bistu.edu.cn hadoop6.bistu.edu.cn 批量传送文件，这次是升级jdk 把安装包放到所有主机的home下 an ...

CDH5分布式运行任务的各种坑（更新ing）

# CDH搭建、配置(待填坑) # 角色分配设计(待填坑) # 参数调优(待填坑) 因为要把edX中Insight的数据导入到一个6节点集群中做运算，所以尝试分离pipline，远程执行分析任务。具体过程有时间另写文章分析（先挖个坑）=-= 今天发现luigi调度任务的时候把任务挂起后就不动了，最开始怀疑luigi配置问题，按官方文档修改metastore_host和metastore_port均无效 但是CDH的监控显示hive的Server正常运行，查看日志也没看到输出错误，然后我查看了task的源码发现需要从hive中查询数据，所以怀疑hive配置有问题， hive配置文件由/etc/hive/conf指 ...

CAS对接Open edX

Open edX的第三方登录是作为一个django app存在的，配置过程如下。 LMS配置过程 ##安装CAS的Client、Mapper 进入edXapp环境，下载CAS的Client、Mapper sudo su edxapp -s /bin/bash cd ~ source edxapp_env pip install git+https://github.com/kstateome/django-cas pip install git+https://github.com/eduStack/neusoft_cas_mapper 012345  sudo su edxapp -s /bin/bashcd ~source edxapp_envpip install git+https://github.com/kstateome/django-caspip ...

期末总结系列3——控制器

计组期末总结系列3——控制器   ————————下面是一些开头的废话，可以不看———————— 由于电脑坏了，又不能整天玩手机，舍友说计组不会，为了方便同学复习，同时总结一下整个学期学习的内容，所以决定写写一些重点的内容，另，本人水平有限，如果文中有错误还请批评指正。 ——————我是分割线，上面的废话可以不看，下面才是重点———————   要说控制器，就要从头说起。当设计实现了运算器、存储器之后，再配合一些寄存器，就可以进行很多算数运算和逻辑运算了，无论是什么运算，在这门课中都是基于单总线结构来学习的。总线就是一排 ...

期末总结系列2——存储器

计组期末总结系列2——存储器   ————————下面是一些开头的废话，可以不看———————— 由于电脑坏了，又不能整天玩手机，舍友说计组不会，为了方便同学复习，同时总结一下整个学期学习的内容，所以决定写写一些重点的内容，另，本人水平有限，如果文中有错误还请批评指正。 ——————我是分割线，上面的废话可以不看，下面才是重点———————   在计算机中用于记录数据的硬件，就可以叫做存储器，比如内存。存储器以存储芯片为核心构成。关于存储芯片的原理我也说不清楚（电路学的不好-_-||）但是只需要知道它能保持电信号并且在需要的 ...

期末总结系列1——数的表示

计组期末总结系列1——数的表示   ————————下面是一些开头的废话，可以不看———————— 由于电脑坏了，又不能整天玩手机，舍友说计组不会，为了方便同学复习，同时总结一下整个学期学习的内容，所以决定写写一些重点的内容（虽然导论、C语言、电路都讲过三遍了，然而还是可以有人不会啊╮(╯▽╰)╭）。另，本人水平有限，如果文中有错误还请批评指正。 ——————我是分割线，上面的废话可以不看，下面才是重点———————— 在计算机中，所有的数字都是用二进制来表示的，为了理解记忆而不去记忆大量的公式，不得不从头好好思考二进制。 我们都知 ...