Pig でデータ処理

準備がほぼ整ったので、Pig でデータ処理してみました
しかし、雑誌のとおりにやったところエラーになります
原因は、Pig のクラスパスにありました
port PIG_CLASSPATH=/opt/hadoop/confとなっていました
これを
export PIG_CLASSPATH=/opt/hadoop/hadoop-0.21.0/conf
とすればエラーが消えました
仮想環境で構築していますが
失敗したときに、再度ダウンロードするのは時間がかかるので
一度、scp コマンドで取得したファイルをバックアップしておきます
scp wiki@192.168.10.218:/home/wiki/hado* pig* jdk* count* .
を実行し、ゲストOSへバックアップしておきます
コマンドを使ってファイルコピーするときには
* を使って文字をすべて書き込まないようにすれば時間短縮になります

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です