日経Linux 2011-05で短期連載で
Hadoop の特集があるので、これを実験
hadoop に関しては、Wikipedia の記事
Hadoop
を見ました
なにごとも手をつけて実験してみると
なにか得るものがあるかも
まずは、Hadoop をインストール
実験環境は VMで作成した ubuntu 10.10 32bit
まずは、sun-java の jdk をインストール
http://java.sun.com/javase/ja/6/download.html
へリンクし
jdk-6u24-linux-i586.bin
をダウンロードします
きりんさん日記の
1台構成のHadoopを30分で試してみる(Ubuntu + Cloudera)
には、apt-get を使った方法が載っていました
とりあえず、今回は雑誌記事の内容をもとにインストールしてみます
ダウンロード完了後
cd ダウンロード
chmod 755 jdk-6u24-linux-i586.bin
これで、実行権限をつけます
./jdk-6u24-linux-i586.bin
を実行すると、
jdk1.6.0_24/
ができているので
sudo mv jdk1.6.0_24/ /opt
でディレクトリ移動
続いて、付録DVDに収録されている Hadoop をHDDにコピーします
cp /media/LIN201105/article/rensai_pighive/hadoop-0.21.0.tar.gz $HOME
cd
で 一旦 ホームディレクトリに移動し、
tar zxvf hadoop-0.21.0.tar.gz
で解凍してから
sudo mkdir -p /opt/hadoop
でディレクトリ作成
sudo をつけないと権限がないので、作成できません
また -p をつけると、パスが存在しなくても新規にディレクトリ作成できます
sudo mv hadoop-0.21.0 /opt/hadoop
でディレクトリごと移動します
ただ、これをみると
sudo mkdir -p /opt/haddop
sudo tar zxvf hadoop-0.21.0.tar.gz -C /opt/hadoop
でもよさそうですが
それはさておき、
次に JDKのディレクトリ指定です
sudo apt-get -y install vim
で vim をインストールし
vi .bashrc
でファイルを開き、最終行へ
export JAVA_HOME=/opt/jdk1.6.0_24/
export HADOOP_INSTALL=/opt/hadoop/hadoop-0.21.0
export PATH=$HADOOP_INSTALL/bin:$JAVA_HOME/bin:$PATH
を追記
source .bashrc
で設定内容を反映します
また、Hadoop に必要なものとして
ssh の公開鍵認証が必要らしいので、
ubuntu にはデフォルトで入っていない ssh を
sudo apt-get -y install ssh
でインストールします
これで、公開鍵認証を行うまでの準備が整いました