Pig

日経 Linux 2011-05 を参考に Hadoop を実験してみましたがなぜかエラーになるので一度ソースを見てみました結果、付録DVDに入っていたスクリプトには#!/usr/bin/perl#use strict;my %words;...

引き続き、Pig の実験です続いて、データ処理の実験のためのファイルをダウンロードしますへアクセスし、reviewsNew.rarというファイルをダウンロードしますこのファイルは。.rar という形式なので、解凍するためにsudo apt-...

前回、Hadoop の設定をスクリプトで実行できるようにしたので今回は Pig を設定してみますPig はすべての hadoop インストール済みのマシンにいれる必要性はなく、どれか１つでよいようなので別のスクリプトにしましたまずvi se...

準備がほぼ整ったので、Pig でデータ処理してみましたしかし、雑誌のとおりにやったところエラーになります原因は、Pig のクラスパスにありましたport PIG_CLASSPATH=/opt/hadoop/confとなっていましたこれをex...

前回、分散処理技術 Hadoopで hadoop をインストールしパスフレーズなしのSSHでSSH公開鍵認証でログインできるようになったので、今度はPig をインストールしますPig は。大容量データの集計処理などに使うようですPig の使...