カテゴリー: janome

自然言語処理

N-gram は
文章を分割する単位

This is a pen なら
N-gram = 2 なら
This is
is a
a pen
というように前後２つの単語で文章を区切るようになる

N-gram = 1 なら単語ごとになり

N-gram =3 なら
This is a
is a pen
というように３つの単語で区切る

これが N-gram法

２つの単語で区切ればバイグラム
１つの単語ならユニグラム
３つの単語ならトリグラム
となる

これは英語ならできるけど
日本語だとできない
原因は単語と単語が連続しているから

なので、そのままだと日本語に N-gram が使えない

なので 形態素解析エンジンの Janome を使う

インストールは
pip コマンドを使うので
ctrl + Alt + t で端末を開き

 pip install janome

次に jupyter notebook を

jupyter notebook

で起動

これで

from janome.tokenizer import Tokenizer

tokenizer = Tokenizer()
tokens = tokenizer.tokenize('すもももももももものうち')
for token in tokens:
    print(token)

として
shift + Enter で実行すると

すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
という結果になり
解析できているのがわかる

次に分かち書き

これは
tokenize() で wakati=True を指定すればOK
あとは join()
でリストの中身をつないで
分かち書きの文字列を作成

tokenizer = Tokenizer()
tokens = tokenizer.tokenize('すもももももももものうち',wakati=True)
print(tokens)

wakati =" ".join(tokens)
print(wakati)

結果は

tokenizer = Tokenizer()

tokens = tokenizer.tokenize(‘すもももももももものうち’,wakati=True)

print(tokens)

​

wakati =” “.join(tokens)

print(wakati)

[‘すもも’, ‘も’, ‘もも’, ‘も’, ‘もも’, ‘の’, ‘うち’]
すもも も もも も もも の うち