hadoop 0.21 설치 방법

1. hadoop download

2. hadoop 압축 풀기
3. 각 서버들에 ssh 연결 설정 만들기
 
 1)namenode 로 사용할 서버에서
  ssh-keygen -t rsa
 
 .ssh 에 생성될 파일중에 id_rsa.pub 라는 파일을(공개키다)
 datanode로 사용될 파일들에 복사 .ssh 를 만들어서 authorized_keys 라는 이름으로 복사
 .ssh 는 755 로 authorized_keys 는 644

4. hadoop_env.sh 설정 다음 설정 추가

export JAVA_HOME=/usr/
export HADOOP_HOME=/home/charsyam/hadoop
export HADOOP_LOG_DIR=/data/hadoop/logs
export HADOOP_SLAVES=${HADOOP_HOME}/conf/slaves

5. master/slave 설정
master 에는 namenode 로 사용될 서버 ip
slave 에는 datanode 로 사용될 서버 ip 추가

6. core-site.xml 설정
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
    <property>
        <name>webinterface.private.actions</name>
        <value>true</value>
        <description> If set to true, the web interfaces of JT and NN may contain
                actions, such as kill job, delete file, etc., that should
                not be exposed to public. Enable this option if the interfaces
                are only reachable by those who have the right authorization.
        </description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://172.27.0.2:54310</value>
        <description></description>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/data/hadoop/name</value>
        <description></description>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/data/hadoop/data</value>
        <description></description>
    </property>
</configuration>

7. hdfs-site.xml 설정
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/data/hadoop/name</value>
        <description></description>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/data/hadoop/data</value>
        <description></description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/dfs</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

8. mapred-site.xml 수정
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
 <property>
  <name>mapreduce.job.tracker</name>
  <value>172.27.0.2:54311</value>
  <description></description>
 </property>
 <property>
  <name>mapreduce.jobtracker.system.dir</name>
  <value>/data/hadoop/mapreduce/system</value>
  <description></description>
 </property>
 <property>
  <name>mapreduce.cluster.local.dir</name>
  <value>/data/hadoop/mapreduce/local</value>
  <description></description>
 </property>

 <property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>2</value>
  <description></description>
 </property>
 <property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>2</value>
  <description></description>
 </property>
</configuration>

9. 모든 설정 파일을 각 서버로 복사해준다.

10. Namenode format
   bin/hadoop namenode -format
11. start-dfs.sh
12. start-mapred.sh

13. jps 로 제대로 설정되었는지 확인