Hardware For Hadoop Cluster 변천사

음, 자주 물어보지만, 까먹기 쉬운 Hadoop을 위한 하드웨어 구성

김영우님이 한번 정리해두신게 있어서 다시 정리(http://mixellaneous.tistory.com/1104)

문서에서는 JBOD를 권장하는데, 이러면 디스크 하나가 나가면, 데이터가 어떻게 깨질지 모르기 때문에, 개인적으로는 복구를 빨리 할 수 있는, 디스크를 그냥 개별로 마운트해서 사용하는게 좋은듯(다만, 어차피 디스크 하나 나가면, 시스템 서비스는 안되니 빨리 디스크 교체 등을 통해서 복구는 해야할 듯… 그런데 Hadoop I/O로 작업이 많은 장비에 HBase를 사용하면 HBase도 느려지므로, 적당히 HBase 만 설치하는 노드가 있어야 할듯…(이러면, HDFS와 분리되서 데이터 이동이 많아질수도 라는 생각도 듬)

깔면

2011-09 : http://hortonworks.com/best-practices-for-selecting-apache-hadoop-hardware/

이전: HDD: 6*2TB, RAM: 24GB, CPU: 8 Core in Dual Socket

올해: HDD: 12*2TB, RAM: 48GB, CPU: 8 Core in Dual Socket( 3TB도 고려중이라고 )

2011-03: http://www.cloudera.com/blog/2010/03/clouderas-support-team-shares-some-basic-hardware-recommendations/

HDD: 4*1 TB JBOD, RAM: 16~24GB( HBASE를 생각하면, 24~32GB)  CPU: 8 core( 2 ~ 2.5GHz ), Gigabit Ethernet