Hadoop

RhinoでHadoopのConfigurationを叩いてみる

大名古屋#04 : ATND, 大名古屋#05 : ATNDでRhinoでHadoopを使うと言ったので、ちまちまと予習をしとります。最近Rhinoリハビリとか言ってるのは、その一環。一応、Rhinoを選んだ経緯としては、 名古屋の連中は関数型言語/Scala大好きっ子ばかり。当然Scalaで…

Windows 7 + CygwinでHadoop(擬似分散モード)を動かす

Windows 7 + CygwinでHadoop(擬似分散モード)を動かすまでの簡単な手順。Hadoop本にはCygwinでの設定手順が書いてない。。。 Hadoopの設定 Hadoop/confのcore-site.xml、hdfs-site.xml、mapred-site.xmlを以下のように設定する。core-site.xml <configuration> <property> <name>fs.defa</name></property></configuration>…

Windows(Cygwin)でHadoop 0.20.2を動かそうとしたら、起動スクリプトがバグってた件

Windows7+Cygwin1.7上でHadoop 0.20.2を動かそうとしたら、起動スクリプトが微妙にバグってた。 $ bin/hadoop version bin/hadoop: line 258: C:\Program: command not found Hadoop 0.20.2 Subversion https://svn.apache.org/repos/asf/hadoop/common/bran…

Hadoop座談会に参加した。ヤバイと思った。

会社から交通費が支給されたので、Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会 : ATNDに参加した。 スピーカーの方々が話していた事の6-7割ぐらいしか理解できなかった。私のような大規模分散技術を始めたばかりの人…