月別アーカイブ: 2011年4月

付録についていた count_word.pl

日経 Linux 2011-05 を参考に Hadoop を実験してみましたが なぜかエラーになるので 一度ソースを見てみました 結果、付録DVDに入っていたスクリプトには #!/usr/bin/perl #use st … 続きを読む

カテゴリー: Pig | コメントをどうぞ

Pig の実験

引き続き、Pig の実験です 続いて、データ処理の実験のためのファイルをダウンロードします http://131.193.40.52/data/ へアクセスし、 reviewsNew.rar というファイルをダウンロード … 続きを読む

カテゴリー: Pig | コメントをどうぞ

Pig の設定をスクリプトで実行

前回、Hadoop の設定をスクリプトで実行できるようにしたので 今回は Pig を設定してみます Pig はすべての hadoop インストール済みのマシンにいれる 必要性はなく、どれか1つでよいようなので 別のスクリ … 続きを読む

カテゴリー: Pig | コメントをどうぞ

Hadoop の設定をスクリプトで実行

ディスク容量が足りなかったため 再度 設定することにしました 今度は、容量を大きめにつくってみました 前回、20GBで足りないので、今回の Vmware で作成した容量は 50GB 割当てしました また、再度設定すること … 続きを読む

カテゴリー: Hadoop | コメントをどうぞ

Hadoop でエラーの意味

hadoop を使うため、 pig を実行したところ、エラーになりました 原因を探したところ、どうやらディスク容量が足りないのが 原因のようです 前回、VMware Player で容量を増やしたのですが たしかに容量は … 続きを読む

カテゴリー: Hadoop | コメントをどうぞ

Pig でデータ処理

準備がほぼ整ったので、Pig でデータ処理してみました しかし、雑誌のとおりにやったところエラーになります 原因は、Pig のクラスパスにありました port PIG_CLASSPATH=/opt/hadoop/conf … 続きを読む

カテゴリー: Pig | コメントをどうぞ

VMware Player の仮想マシンの容量拡張

Vmware Player では、仮想マシンに割り当てたHDDの容量を拡張できます 作成した仮想マシンを選択し Edit virtual machine settings をクリック hard Disk(SISI) をク … 続きを読む

カテゴリー: VMware | コメントをどうぞ

.rar ファイルの解凍

日経 Linux 2011-05 を参考に、Hadoop の実験を開始しています しかし、.rar 拡張子の解凍方法が載っていないので 検索してみました unrar コマンドで解凍できるようなのですが ubuntu 10 … 続きを読む

カテゴリー: unrar | コメントをどうぞ

Pig の導入

前回、分散処理技術 Hadoop で hadoop をインストールし パスフレーズなしのSSHでSSH公開鍵認証で ログインできるようになったので、今度は Pig をインストールします Pig は。大容量データの集計処理 … 続きを読む

カテゴリー: Pig | コメントをどうぞ

AppWidget概要

Appwidget は、ホームボタン長押しででるウィジェットを作成する エミュレータでウィジェットを画面に 追加し、実際の動作確認をしたいのなら menu と書いてあるボタンをクリックし Add をクリック 次に Wid … 続きを読む

カテゴリー: android | コメントをどうぞ