close

Hadoop的核心是由 "HDFS(Hadoop Distributed File System)"以及"MapReduce"所構成,

但經由很多神人以及大大以及很多open source fundation 的努力下,差點忘記Yahoo與Facebook

的hadoop的contributor,沒有他們怎麼會有好用的hadoop呢??

 

小弟目前則是致力於Hadoop整體的ecosystem做研究包含

(1). HDFS、MapReduce、Hbase、Zookeeper、Hive、Avro...etc。

(2). Single point failure of namenode的解決,目前是採用Heart+DRBD的方式來解決(聽說Hadoop在2.x.x板以上有更好的解決方案了,以及對MapReduce提出了新的solution,名喚:YARN~酷斃了~^_^~)。

(3). 使用Ganglia以及Nagios做叢集的監控(這滿屌的!)。

(4). 使用Django對Hbase做RESTFul的設計(雖然Hbase本身就有REST的功能了,但這個好玩耶!!)。

上述部分我會慢慢的與大家來分享^^~

 

不免俗的還是要拿google與hadoop比對一下:

Google                    Hadoop

DFS                         HDFS

MapReduce             MapReduce

Big table                 HBase

------------------------------------------------------

arrow
arrow
    全站熱搜
    創作者介紹
    創作者 TonyMoMo 的頭像
    TonyMoMo

    TonyMoMo的部落格

    TonyMoMo 發表在 痞客邦 留言(0) 人氣()