投稿者: Snowpool

Namazu の検索機能を改良するため、
PDF変換について調べてみました
スキャナーで取り込んだだけでは
Namazu で検索しても文字を認識して検索することができませんでした
この機能を改善するべく、検索して見た結果
PDF を HTML に変換する
にあるように、PDFファイルをHTMLへ変換してしまうか
もしくはOCRというものを使って、検索可能なタイプのPDFへ変換する
という方法になるようです
PDFファイルからHTMLへ変換するのに便利な
クセロ Reader ZERO
は、残念ながら配布が終了してしまったため
残る方法（GMail、pdftohtml）となるようです
もっとも、検索すれば他に方法があるのかもしれませんが…
それはさておき、もう一つのOCRについて調べてみました
私のメイン環境は Linux ですが、一応 Windows もあります
Linux の　OCRソフトとしては
Tesseract OCR
というソフトがあるようです
ただ、まだ使ったことはないので、今回は説明は省きます
今回使った解決方法は、

を使った方法です
いちおう、Linux でも機体の認識はするのですが
なぜか両面スキャンができませんでした
しかたがないので、一旦 windows xp で両面スキャンをして
PDFファイルとして保存します
次に、このPDFファイルを付属のソフトウェアである
Scan Snap Organizer を使って検索可能なPDFへと変換します
そして、 FileZilla を使って　FTPで　Namazu　を構築したサーバへ
送ります
あとは、一度サーバにログインし、
mknmz /var/www/html/snow -O /usr/local/var/namazu/index/snow/|nkf -w
として
インデックスを更新し、検索可能対象にします
ちなみに、/var/www/html/snow の部分については、
自分で作成した検索対象ファイルに置き換えてください
これで、PDFの中の文字列でも、ほぼ検索することができます
もっとも、スキャナーの解像度やOCRの変換などにも依存しますので
一概にすべてできますとは言えません
残る問題点としては、
検索対象がみつかっても
Namazu での検索結果が文字化けしてしまうこと
Linux でのドキュメントスキャナーがまだないこと
そして、Linux 環境での　OCR 変換がまだできていないことです
まだまだすべて Linux とはいきませんが
徐々に改善していこうと思います

Namazu で PDF　を取り扱えるように設定をしたのですが
欠点が発覚しました
まず、初期の設定から変えないと、
２MBを超えるファイルは無条件に索引データベースに含まれなくなります
また、600KBを超えるファイルは無条件に索引データベースに含まれなくなります
この問題を解決するには
索引データベース作成用設定ファイル”mknmzrc”の編集
の
$FILE_SIZE_MAX～処理対象のファイルサイズの上限
と
$TEXT_SIZE_MAX～処理対象のテキストサイズの上限
を変更する必要性があります
vi /usr/local/etc/namazu/mknmzrc
でファイルを開き、
# $FILE_SIZE_MAX = 2000000;
の部分を変更します
このままだと、取扱い可能なのは２MBしかありません
かなり大きなファイルを使いたいので
$FILE_SIZE_MAX = 20000000000;
としました
さらに、
# $TEXT_SIZE_MAX = 600000;
では　６００KBしか使えないので
$TEXT_SIZE_MAX = 60000000000;
としました
これで、検索対象から除外されることはなくなりました
もう一つの問題のほうが面倒で、こちらについてはまだ検討中です
スキャナーで取り込んだ雑誌をPDFに変換し
これをローカルサーバに入れておけば、本を探す手間が省けると
おもったのですが、
残念ながらただたんに、スキャナーで取り込んだだけでは
Namazu で検索しても文字を認識して検索することができませんでした
なんらかの方法で、この問題を解決して見ようと思います