Hyper Estraierを使った検索エンジン

この情報は古い可能性があります！

Namazuよりも高性能（？）という噂のhyperestraierを使った
検索エンジンの構築をやってみます。
といってもぶっちゃけ公式HPのものを見てやりながら書いているので
ほとんど変わらないですね。。。

注: 作者がTokyo Cabinet、Kyoto Cabinetへの作成に注力しているようで、実質HyperEstraierは開発停止です。

HP http://hyperestraier.sourceforge.net

HP http://fallabs.com/ に変更

Nutchでもやるかなぁ。Apacheもなんか出してるし暇ができたらやってみますか。

必要なもの

• libiconv : 文字コード変換。バージョン1.9.1以降（glibcにも同梱）。
• zlib : 可逆データ圧縮。バージョン1.2.1以降。
• QDBM : 組み込み用データベース。バージョン1.8.68以降。

恐らくlibiconvとzlibは入っているため、QDBMをインストールします。
また、分かち書き？にめかぶをつかいます。

QDBMのインストール

cd /usr/local/src
wget http://qdbm.sourceforge.net/qdbm-1.8.77.tar.gz
tar zxvf qdbm-1.8.77.tar.gz
cd qdbm-1.8.77

./configure --enable-zlib
make
make install

Mecabのインストール

cd /usr/local/src
wget http://nchc.dl.sourceforge.net/sourceforge/mecab/mecab-0.97.tar.gz
wget http://jaist.dl.sourceforge.net/sourceforge/mecab/mecab-ipadic-2.7.0-20070801.tar.gz
wget http://jaist.dl.sourceforge.net/sourceforge/mecab/mecab-jumandic-5.1-20070304.tar.gz

tar zxvf mecab-0.97.tar.gz
cd mecab-0.97
./configure --with-charset=utf8
make
make install

cd ../
tar zxfv mecab-ipadic-2.7.0-20070801.tar.gz
cd mecab-ipadic-2.7.0-20070801
./configure --with-charset=utf-8
make
make install

cd ../
tar zxvf mecab-jumandic-5.1-20070304.tar.gz
cd mecab-jumandic-5.1-20070304
./configure --with-charset=utf-8
make
make install

hyperestraierのインストール

cd /usr/local/src
wget http://hyperestraier.sourceforge.net/hyperestraier-1.4.13.tar.gz
tar zxvf hyperestraier-1.4.13.tar.gz
cd hyperestraier-1.4.13
./configure --enable-mecab
make
make install

ローカルのみの検索システムを構築

mkdir /usr/local/hyperestraier
cd /usr/local/hyperestraier
estcmd gather -il ja -sd momo-i /usr/local/apache/htdocs

gatherはインデックス生成のオプションです。

• il jaは文字コード判定に日本語を優先させるという意味です。
• sdはファイルの作成日時と更新日時をインデックスに記録するという意味です。
  実行すると、進捗状態のログメッセージが出てから、
  momo-iというディレクトリが作成されます。
  このディレクトリがインデックスです。
  インデックスの作成に必要な手順はこれだけです。

検索用スクリプトの配置

cp /usr/local/libexec/estseek.cgi /usr/local/apache/cgi-bin
cp /usr/local/share/hyperestraier/locale/ja/* /usr/local/apache/cgi-bin

検索用のコンフィグ設定

cd /usr/local/apache/cgi-bin
vi estseek.conf

変更点のみ
indexname: momo-i
replace: ^file:///usr/local/apache/htdocs/{{!}}http://localhost/

http://localhost/cgi-bin/estseek.cgiにアクセスをして
検索が出来ることを確認

インデックスの更新作業

cd /usr/local/hyperestraier
estcmd gather -cl -il ja -sd -cm momo-i /usr/local/apache/htdocs

元のファイルがなくなったりしたときとかに検索対象からも削除する
estcmd purge -cl momo-i

インデックスの最適化
estcmd optimize momo-i

削除と最適化は1週間にいっぺん程度で十分です。

Webクローラを使ってみる

検索するならGoogleとかYahooとかあるますが、検索ワード入れても
実際にこれって言うのが見つからないときってあるますよね。

ということで、自分の持ってるお気に入りとかを自動巡回させて特定のジャンルとかの
Web検索エンジンを設定するます。(hyperestraierはインストール済みとして進めます)

クローラのルートディレクトリの作成

cd /usr/local/hyperestraier
estwaver init test

initするとtestディレクトリ配下に以下のディレクトリ・ファイルが作成されます。

_conf : 設定ファイル。
_log : ログファイル。クローラのイベントログを記録します。
_meta : メタデータのデータベースファイル。重複起動防止のロック機構も兼ねます。
_queue : 巡回先のプライオリティキューのデータベースファイル。
_trace/ : 巡回記録のデータベースディレクトリ。
_index/ : インデックスディレクトリ。
_tmp/ : テンポラリファイルを入れるディレクトリ。

次にクローラの設定をします。
www.example.comとtest.example.comを巡回する設定を入れますが、
example.comドメイン以外のドメインへのリンクを制御するためallowrxを使って
example.comドメイン以外のドメインへはアクセスをしないようにします。

/usr/local/hyperestraier/test/_conf

seed: 1.0|http://www.example.com/
seed: 1.0|http://test.example.com/
allowrx: ^http://[^/]*\.example.com/

設定が終わったら以下のコマンドで巡回をして見ましょう。

estwaver crawl -revcont /usr/local/hyperestraier/test

オプションにつけてる-revcontは以前に収集した文書の
再取得を行った後にクローリングを継続するので便利です。

巡回が終了したらhttp://localhost/cgi-bin/estseek.cgiへアクセスをして、
検索が出来ることを確認します。

後は定期的にクーロンで実行をするように設定しておけば問題なしです。

注意点としては巡回中は検索が出来なくなるため、巡回させる場合は
ルートディレクトリをコピーして、コピーしたもので巡回後元に戻すという作業をするといいです。

参考までにうちで使っていたスクリプトです。(現在停止中)

#!/bin/bash

command="/usr/local/bin/estwaver crawl -revcont"
dir="/usr/local/hyperestraier/test"
tmpdir="/usr/local/hyperestraier/test.tmp"

if [ ! -r $tmpdir ]; then

cp -r $dir $tmpdir
$command $tmpdir

rm -rf $dir
mv $tmpdir $dir

fi

if [ `date +%u` == "7" ]; then

/usr/local/bin/estcmd optimize $dir/_index

fi

アップグレード

アップグレードするときは一旦アンインストールを走らせないと
テストでエラーになります。

cd /usr/local/src/hyperestraier-x.x.xx
make uninstall
cd /usr/local/src/qdbm-x.x.xx
make uninstall

後はまた適当にやりますか。