big data介绍
1.分布式
由分布在不同主机上的进程协同在一起，才能构成整个应用。
2.海量数据
1byte = 8bit
1024B = 1MB
1024MB=1GB
1024GB=1TB
1024TB=1PB
1024PB=1EB
1024EB=1ZB
1024ZB=1YB
1024YB=1NB
3.存储
分布式存储
4.计算
分布式计算
big data 4V
1.Volumn //体量大
2.Variaty //样式多
3.Velocity //速度快
4.Valueless //价值密度低
hadoop
1.介绍
可靠、可伸缩、分布式计算的开源软件
hadoop是分布式计算大规模数据集框架，使用简单编程模型，可从单个服务器扩展到几千台主机，每台机器都提供了本地计算和存储，不需要使用硬件来获取高可用性，类库在应用层处理检测并处理故障，因此在集群之上获取HA服务。99.999%
2.HDFS
hadoop distributed file system. GFS
3.去IOE
IBM＋Oracle＋EMC
4.MapReduce
MR //映射和化简。一种编程模型
hadoop安装（centos 7下安装）
环境准备： 0.添加用户(root用户下操作) $>useradd hadoop $>passwd hadoop //将hadoop用户加入到sudoers中 $>chmod 640 /etc/sudoers $>vim /etc/sudoers 加入 hadoop ALL=(ALL) ALL $>chmod 440 /etc/sudoers 1.修改centos主机名：vim /etc/hostname s100 2.修改centos7的IP: (虚拟机选择NAT模式),如果不会，请点此链接 本机的VMnet8配置如下：centos7 IP配置: vim /etc/sysconfig/network-scripts/ifcfg-eno16777736 TYPE=Ethernet BOOTPROTO=static NAME=eno16777736 UUID=9fb05e6d-4c39-4e65-b2e0-7285bdb8d9e4 DEVICE=eno16777736 ONBOOT=yes NM_CONTROLLED=no DNS1=114.114.114.114 IPADDR=192.168.88.100 NETMASK=255.255.255.0 GATEWAY=192.168.88.2 修改完后重启服务:sevice network restart 3.修改hosts文件:vim /etc/hosts 192.168.88.100 s100 4.安装jdk(hadoop用户下操作)(下载地址：http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.tar.gz?AuthParam=1491403345_3568429cecd9b420d1a815062d025d41） 下载好后，解压jdk： $>tar -zxvf jdk-8u121-linux-x64.tar.gz $>sudo mkdir /soft $>sudo chown hadoop:hadoop /soft 然后移动到/soft/jdk1.8.0_121 在/soft目录下，建立软链接: ln -s jdk1.8.0_121 jdk 5.安装hadoop（下载地址：http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz） 解压到/soft tar -zxvf hadoop-2.7.3/hadoop-2.7.3.tar.gz 得到/soft/hadoop-2.7.3 在/soft目录下，建立软链接: ln -s hadoop-2.7.3 hadoop 6.设置java和hadoop的环境变量 sudo vim /etc/profile export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL export JAVA_HOME=/soft/jdk export HADOOP_HOME=/soft/hadoop export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 保存后，source /etc/profile 7.测试java和hadoop是否安装成功 运行java -version和hadoop version即可。
转载请注明：MitNick » big data介绍及hadoop安装
