Welcome to aparke’s blog!

前言

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

搭建集群

集群规划，必须设置为静态ip

需要4台centos 6.x 配置ssh免密登陆

设置每一台虚拟机的主机名分别为master、slave1、slave2、slave3

vi /etc/etc/sysconfig/network

设置每个虚拟机添加hosts值

vi /etc/hosts

192.168.179.200 master

192.168.179.201 slave1

192.168.179.202 slave2

192.168.179.203 slave3

配置SSH

（1）在master机器上，使用ssh-keygen生成私钥和公钥
命令如下：

ssh-keygen -t rsa

（2）分别在slave1,2,3机器上，输入命令：ssh-keygen，然后连续四下回车

ssh-keygen

（3）在master1机器上输入命令：ssh-copy-id -i master，然后输入对应密码，再输入ssh-copy-id -i slave1，输入对应密码，………..然后输入命令：ssh-copy-id -i slave3；
（4）在slave1机器上输入命令：ssh-copy-id -i master，然后输入对应密码，再输入ssh-copy-id -i slave1，输入对应密码，………..然后输入命令：ssh-copy-id -i slave3；
（5）在slave2机器上输入命令：ssh-copy-id -i master，然后输入对应密码，再输入ssh-copy-id -i slave1，输入对应密码，………..然后输入命令：ssh-copy-id -i slave3；
（6）在slave3机器上输入命令：ssh-copy-id -i msater，然后输入对应密码，再输入ssh-copy-id -i slave1，输入对应密码，………..然后输入命令：ssh-copy-id -i slave3；

不想写了，太累了。没时间写博客了

赏

谢谢你，给我糖吃，aparke

支付宝

微信