カテゴリー別アーカイブ: Pig

付録についていた count_word.pl

日経 Linux 2011-05 を参考に Hadoop を実験してみましたが なぜかエラーになるので 一度ソースを見てみました 結果、付録DVDに入っていたスクリプトには #!/usr/bin/perl #use st … 続きを読む

カテゴリー: Pig | コメントをどうぞ

Pig の実験

引き続き、Pig の実験です 続いて、データ処理の実験のためのファイルをダウンロードします http://131.193.40.52/data/ へアクセスし、 reviewsNew.rar というファイルをダウンロード … 続きを読む

カテゴリー: Pig | コメントをどうぞ

Pig の設定をスクリプトで実行

前回、Hadoop の設定をスクリプトで実行できるようにしたので 今回は Pig を設定してみます Pig はすべての hadoop インストール済みのマシンにいれる 必要性はなく、どれか1つでよいようなので 別のスクリ … 続きを読む

カテゴリー: Pig | コメントをどうぞ

Pig でデータ処理

準備がほぼ整ったので、Pig でデータ処理してみました しかし、雑誌のとおりにやったところエラーになります 原因は、Pig のクラスパスにありました port PIG_CLASSPATH=/opt/hadoop/conf … 続きを読む

カテゴリー: Pig | コメントをどうぞ

Pig の導入

前回、分散処理技術 Hadoop で hadoop をインストールし パスフレーズなしのSSHでSSH公開鍵認証で ログインできるようになったので、今度は Pig をインストールします Pig は。大容量データの集計処理 … 続きを読む

カテゴリー: Pig | コメントをどうぞ