Watson Natural Language Classfier

Watson Natural Language Classfier

Watson Natural Language Classifier は
自然言語分類で
NLCとも言われる

Classification は分類という意味

Watson で
Visual Recongnition を使うと
デフォルトモデルや独自の訓練データを使ったカスタムモデルで
画像分類ができる

ただし NLC はライトアカウント非対応なので
IBM Cloud アカウントにアップグレードしないとダメ

ログインしてダッシュボードに
アカウントのアップグレード
とあるので
これをクリック

ダイアログがでるので
下へスクロールし
住所、電話番号
クレジットカード情報を入力し
次に同意します
にチェックをいれ
次へをクリック

なお、入力に関しては日本語でも問題なし
電話番号と郵便番号のーを忘れなければOK

確認画面で完了を押せばアップグレード完了

これでNLCが使える状態になったけど
デフォルトモデルがないため
自分でモデルを作成する必要がある

まずNLCインスタンスを作成

カタログ > AI >
Natural Language Classifier
をクリック

下にスクロールすると
標準での無料枠の説明があり
1 カ月当たりに 1 つの
Natural Language Classifier が無料
となっているのが確認できるので
あとは作成をクリック

作成したインスタンスのAPIキーなどを確認するには
サービス資格情報
をクリックし
資格情報の表示をクリックすれば表示される

Watson Stduio で Notebook

Watson Stduio で Notebook

WatsonStudio で Notebook を使うには

Add to Project をクリックし
Notebook をクリック

無料枠で使うため
Select runtime を
Default Python 3.5 Free (1 vCPU and 4GB RAM)
に設定
あとは Name にnotebook 名を入力し
Create Notebook
をクリック

これで
Ubuntu の Jupyter Notebook のように
コードの記述が可能になる

次にファイルのアップロード
基本的に
WatspmStidioはクラウド上で動作するので
ファイルを扱うにはアップロードする必要がある

アップロードするには
Find and add data アイコンをクリック


WatsonStudio と Visual Recognition インスタンスのひも付け

WatsonStudio と Visual Recognition インスタンスのひも付け

Visual Recognition で Watson Studio で
独自の画像認識モデルを作成するときに
ひも付け設定が必要

WatsonStudio を開いて
Seeting をクリック

下へスクロールし
Associated services の部分にある
Add service
をクリックし
Watson を選択

下へスクロールし
Visual Recognition の Add をクリック

Existing タブのところに
作成した Visual Recognition インスタンスがでるので
Select をクリック

これで
Associated services に
Visual Recognition インスタンスが表示されればOK

Watson Studio

Watson Studio

まず Watosono Studio のインスタンスを作成

2回めのログインからなぜか英語になったけど
操作は変わらないのでそのまま続行

Catalog > AI(15) > Watson Studio

作成できるが、ライトアカウントの場合
1つしか作成できない

すでに1つWatson Studioインスタンスが作成されていると

You can have only one instance of a Lite plan per service. To create a new instance, delete your existing Lite plan instance.

となり
Create が押せない状態になるので注意

作成したインスタンスの確認は
ダッシュボードから
Resources List で一覧を見ることができる

Watson Studio がすでにあるなら
この中から
Watson Studio をクリックし
Get Started をrクリックすれば立ち上がる

次にプロジェクトの作成

Create a project
をクリック

次に Standard をクリック

Name にプロジェクト名を入れて
Add をクリック

プランの選択になるので
下へスクロールし
Lite になっているのを確認し
Create をクリック

確認画面になるので
Confirm をクリック

プロジェクト作成の画面に戻るので
Refresh をクリック

インスタンスが表示されるので
Create をクリック

これでプロジェクトの作成ができる

Let’s Encript の自動更新

Let’s Encript の自動更新

Let’s Encript の期限きれが近いとのお知らせがきたので
更新

su -

で管理者権限になってから

/usr/local/certbot/certbot-auto renew

で証明書を更新して

sudo systemctl restart httpd.service


webサーバーを再起動

毎回手動更新は面倒なので
Linux CentOS7でLet’s Encryptを自動更新にする

を参考に
cron を使って自動更新することに

vim /etc/crontab 

でファイルを開き

00 03 * * * root /usr/local/certbot/certbot-auto renew --post-hook "sudo systemctl restart httpd.service"

を最終行に追記し保存

–post-hook は更新したときに実行したいコマンドを指定するオプション

今回なら更新したときには webサーバーを再起動
という意味になる

IBM Cloud ライトアカウント作成

IBM Cloud ライトアカウント作成

https://cloud.ibm.com/login
へアクセスし
IBM Cloud アカウントの作成
をクリック

Eメール
名前

パスワードを入力し
アカウントの作成をクリック

登録したメールに確認のメールが届くので
Confirm account をクリック

これで認証されるので
ログインをクリック

旧バージョンからの変更点が記載されているので
納得できれば次に進むをクリック

これでログインできるので
次にインスタンスの作成

カタログをクリックし
AI をクリック
Visual Recognition をクリック

一番下までスクロールし
ライトを選択すれば無料枠で使えるので
作成をクリック

これでインスタンスが作成される

なお、API鍵を表示させたいときには
管理画面で
資格情報を表示をクリックすれば
API鍵が表示されるようになる

Azure Machine Learning Quick Evaluation

Azure Machine Learning の Quick Evaluation

Azure Machine Learning には
ユーザ登録せずに使用できるサービス
Quick Evaluation
があるので、こちらを使うことに

ただし
使用開始から8時間後に作成したすべてのデータが消される

学習目的ぐらいにつかうなら十分

https://studio.azureml.net/
にアクセスし
Sign up here
をクリック

8-hour trial
の Enter をクリック

これで操作画面になるので
作業するために
Experiment を
NEW
をクリックして作成すればOK

matplotlib のフォント設定

matplotlib のフォント設定

matplotlib をそのまま使うと
日本語が文字化けするので対処

ubuntuでmatplotlibのfontを設定

を参考に設定

 fc-list |less| grep Takao

でTakao を含むフォントを確認

結果は

/usr/share/fonts/truetype/takao-mincho/TakaoExMincho.ttf: TakaoEx明朝,TakaoExMincho:style=Regular
/usr/share/fonts/truetype/takao-mincho/TakaoPMincho.ttf: Takao P明朝,TakaoPMincho:style=Regular
/usr/share/fonts/truetype/fonts-japanese-gothic.ttf: Takao Pゴシック,TakaoPGothic:style=Regular
/usr/share/fonts/truetype/takao-gothic/TakaoExGothic.ttf: TakaoExゴシック,TakaoExGothic:style=Regular
/usr/share/fonts/truetype/fonts-japanese-mincho.ttf: Takao P明朝,TakaoPMincho:style=Regular
/usr/share/fonts/truetype/takao-gothic/TakaoPGothic.ttf: Takao Pゴシック,TakaoPGothic:style=Regular
/usr/share/fonts/truetype/takao-gothic/TakaoGothic.ttf: Takaoゴシック,TakaoGothic:style=Regular
/usr/share/fonts/truetype/takao-mincho/TakaoMincho.ttf: Takao明朝,TakaoMincho:style=Regular

次に設定ファイルの場所を調べるので

python

でpython の操作ができるようにして

 import matplotlib
matplotlib.matplotlib_fname()

で設定ファイルの位置を確認

私の環境だと

'/home/snowpool/anaconda3/lib/python3.7/site-packages/matplotlib/mpl-data/matplotlibrc'

ファイルを編集するので

vim ~/anaconda3/lib/python3.7/site-packages/matplotlib/mpl-data/matplotlibrc 

/#font.family
で検索すると
196行目ぐらいにフォントの設定業があるので
197行目に

font.family: TakaoPGothic

を追記して保存

このままだとキャッシュが影響して文字化けしたままなので
.cache/matplotlib/ にあるファイルを削除

ls .cache/matplotlib/

でファイルを調べると

fontlist-v300.json  tex.cache

となっており
fontList.cache は存在しない

これは
Google Colabでまた日本語表示が豆腐不可避な方に

に記載されていたように

matplotlibがver.3以上だと
font cacheが「fontlist-v300.json」に変更されているため

このため

rm -f ~/.cache/matplotlib/fontlist-v300.json

でキャッシュファイルを削除

これで無事に日本語の文字化けが解消されます

ubuntu 16.04 へ Jupyter Notebook インストール

ubuntu 16.04 へ Jupyter Notebook インストール

Installing the Jupyter Notebook
https://jupyter.org/install
にインストール方法が掲載されていて
方法は
Anaconda でインストールするか
pip でインストールする
という2つの方法があるようなので

この2つの違いを検索

condaとpip:混ぜるな危険

によれば
Anaconda 下で pip を使うと環境を破壊するとのこと

どちらもパッケージ管理するようだけど
互換性が一切ない

Anaconda で提供されていないパッケージをインストールするには
デフォルト以外のレポジトリからインストールする
というのが無難ぽい

自分で condaパッケージはまだつくれないし
pip をいれると
Anaconda 環境を墓石
他の仮想環境まで破壊するようなので

今回は Anaconda を使うことに
Anaconda Distribution


Linux をクリックし
Python 3.7 Version の Download をクリック

ダウンロードできたら
ctrl + alt + t で端末をひらき

cd ダウンロード
bash Anaconda3-2018.12-Linux-x86_64.sh 

これで

Welcome to Anaconda3 2018.12

In order to continue the installation process, please review the license
agreement.
Please, press ENTER to continue

となるので
Enter をクリック

===================================
Anaconda End User License Agreement
===================================

Copyright 2015, Anaconda, Inc.

All rights reserved under the 3-clause BSD License:

Redistribution and use in source and binary forms, with or without modification,
 are permitted provided that the following conditions are met:

  * Redistributions of source code must retain the above copyright notice, this 
list of conditions and the following disclaimer.
  * Redistributions in binary form must reproduce the above copyright notice, th
is list of conditions and the following disclaimer in the documentation and/or o
ther materials provided with the distribution.
  * Neither the name of Anaconda, Inc. ("Anaconda, Inc.") nor the names of its c
ontributors may be used to endorse or promote products derived from this softwar
e without specific prior written permission.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND 
ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WA
RRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
--続きます--

となるので
スペースですすめて

Do you accept the license terms? [yes|no]

となったら
yes
を入力

Anaconda3 will now be installed into this location:
/home/snowpool/anaconda3

  - Press ENTER to confirm the location
  - Press CTRL-C to abort the installation
  - Or specify a different location below

とインストール場所を聞かれるので
そのままEnter でOK

最後に

Do you wish the installer to initialize Anaconda3
in your /home/snowpool/.bashrc ? [yes|no]

がでてきて
デフォルトが no なので検索

Anaconda で Python 環境をインストールする

によれば
これは
システムにインストールされている同コマンドを隠してしまう
ので no がデフォルトになっているとのこと

なので
Enter

このあと

To install Visual Studio Code, you will need:
  - Administrator Privileges
  - Internet connectivity

Visual Studio Code License: https://code.visualstudio.com/license

Do you wish to proceed with the installation of Microsoft VSCode? [yes|no]

とでてきたので調べてみたら
テキストエディタ VSCode をインストールするか?
ということなので
no を選択

VSCode に関しては
【ゼロから!】Visual Studio Codeのインストールと使い方

があったけど
いまのところテキストエディタは
Atom と vim で足りているので不要

インストール完了したら
.bashrc にパスを追記
これなら、不要になったときにパスを削除すれば解決

Anaconda を利用した Python のインストール (Ubuntu Linux)

を参考に

echo 'export PATH=/home/snowpool/anaconda3/bin/:$PATH' >> ~/.bashrc

を実行

設定反映のため

source .bashrc 

を実行

これで

conda -V

としてバージョンが表示されれば成功

次に Jupyter の設定ファイルの作成

jupyter notebook --generate-config

で設定ファイルを作成

これで

Writing default config to: /home/snowpool/.jupyter/jupyter_notebook_config.py

というように
設定ファイルが作成される

次に、このファイルを開いて
Jupyter Notebook のホームディレクトリを変更

mkdir notebook

で作業ディレクトリを作成

vim .jupyter/jupyter_notebook_config.py 

でファイルを開き

/#c.NotebookApp.notebook_dir = ”
で検索すると
261行めあたりにでてくるので
コメントを外し

c.NotebookApp.notebook_dir = '/home/snowpool/notebook'

というように任意の保存場所を指定

Windows の設定の場合は結構でてくるけど
Ubuntu の場合はあまりでてこないので

#c.NotebookApp.notebook_dir = ”
で検索し

Jupyter Notebookのホームディレクトリを変更する方法

を参考に編集

これで

jupyter notebook

を実行すると

ブラウザで jupyter notebook が起動

Ubuntu 16.04 uTorrent インストール

Ubuntu 16.04 uTorrent インストール

BitTorrent クライアントソフトを使うことで
ダウンロード時間を短縮できるので
uTorrent  をインストール

書籍に掲載されていたダウンロード、インストールは
Windows のため
検索してインストール

参考サイトは
Linux Mint 19.x : 軽量 BitTorrent クライント「uTorrent」のインストール [修正再up]

英語でも大丈夫なら

How to Install uTorrent in Ubuntu 16.04 LTS and Ubuntu 17.10

も参考に

実行環境は Ubuntu 16.04 だが問題なし

まず wget コマンドでダウンロード

wget http://download.ap.bittorrent.com/track/beta/endpoint/utserver/os/linux-x64-ubuntu-13-04 -O utserver.tar.gz

次にパッケージを解凍し
/opt に移動させる

sudo tar xvf utserver.tar.gz -C /opt/

所有権を root に変更

sudo chown root:root -R /opt/utorrent-server-alpha-v3_3/

必要なパッケージをインストール

 sudo apt install libssl1.0.0 libssl-dev 

次にシンボリックリンクの作成

 sudo ln -s /opt/utorrent-server-alpha-v3_3/utserver /usr/bin/utserver

これで準備はOK
ただし uTorrent は80番ポートを使うので
80版ポートを使うサービスを停止しておく必要がある

また
uTorrent は
10000 と 6881 ポートも使うので注意

uTorent の
起動コマンドは

utserver -settingspath /opt/utorrent-server-alpha-v3_3/ &

最後に & をつけることで
バックグラウンドで動作します

停止させるには

sudo pkill utserver

これでブラウザを立ち上げ
http://localhost:8080/gui
にアクセスすると
認証画面になるので
ユーザ名 admin
パスワードはなし
でOKをクリック

次にユーザ名とパスワードの設定をするので
歯車アイコンをクリック

WebUIの
username と Password の部分を変更し
Save settings をクリック

なお、変更すると再度認証画面になるので
設定したユーザ名とパスワードでログイン

次に保存先の設定

mkdir ダウンロード/Torrent

でディレクトリを作成し

Directories

Put new downloads in:

Store .torrents in:
に保存先を設定します

設定をしたら
Save settings をクリック

これで設定ができたので
Kali Linux のVirtualImage をダウンロード

Download Kali Linux VMware and VirtualBox Images

からダウンロードは可能

Kali linux VirtualBox Image
をクリックし
Torrent を右クリック

リンクのURLをコピーすると

https://images.offensive-security.com/virtual-images/kali-linux-2019.1-vbox-amd64.ova.torrent
となるので
これを
uTorrent の URL に追加して Add をクリックすると
ダウンロードが開始されます