Hadoop合宿
2010年10月27日~29日、弊社保養所(山の中)にて、
・オライリーの書籍「Hadoop」の内容を可能な限り理解する
ことを目的とした強化合宿(別名:山篭り)をしてきました。
一人じゃ絶対に挫折しそうな内容だったので、
合宿はとてもよかったです。
こんなに脳みそを使ったのはいつぶりだろう…というほどフル稼働でありました。
@shuji_w6eさんと@niku_nameさんの意外な一面も発見しました。
Hadoopについてはざっくりまとめてみたのがここにあります(ざっくりしすぎ
https://docs.google.com/present/edit?id=0AVPnzAOeEbCNZGc1ZGJieDZfMTYyZHY4MmI3YzU&hl=ja&authkey=CIrThIwJ
学習内容(一日目)
エクストリームリーディング形式で進めていきました。
章ごとにリード担当を決め、その人の指示で
決められた範囲を10分程度で各自読んだ後、内容を整理して話し合っていきました。
勘違いしていたところやわからないことをその場で解決できるのが良かった。
否が応でも集中力が高まるし。
- 1章 Hadoop事始め
- 2章 MapReduce
- 3章 Hadoop分散ファイルシステム
どうしてHadoopのような仕組みが必要になったのか、他と何が違うか
→Hadoopは架空の象の名前。
Hadoopの根幹であるMapReduceの仕組みと動きの概要
→MapタスクとReduceタスクによる処理分担。
Hadoopを実行させるのに必要となる分散ファイルシステムHDFSの仕組み
→大量データを分散して効率よく処理するための考え方。ネームノードが大事。
予習しているとはいえ、なかなかハード。
生活内容(一日目)
前日10/26に、札幌では初雪。しょっぱなからブイブイ積雪しました。
紅葉と積雪を一緒に楽しめてなかなか良い景色だったのですが、
キリのいいところまでということで、23時くらいまで本を読み進めて就寝。
戦いはまだ始まったばかりだ!