キャッシュの仕様も決まって実際に稼働テストの段階に入りました。（更新Pingの送信先は内緒です）


xmlrpc.WeblogUpdates.ping を受け取るCGIがクロールサーバ用にキューを出力します。
クロールサーバは、Que に従ってトップページに <LINK> で RSS/XML の URL が指定されている場合に、その URL を使ってRSSフィードの取得を行います。RSS1.0/2.0 に対応しており（ATOMはスルー）RSSフィードが EUC で書かれている場合もきちんと変換を行います。取得は２段階で制限されており、始めてそのサイトを巡回した場合は現在からＸ日以内のフィードの取得を行い、２回目以降は、Ｙ日以内のフィードのみ取得を行います。
また、上記とは別に同一URLへの巡回はＺ時間以上経過していなければクロールは行いません。
連続して更新Pingを送信してもスルーさせる為です。
changes.xml も出力します。


キャッシュデータは、取得したRSSフィードの Description を加工して記録されます。Windowsっぽく Shift-JIS に変換もします。
相変わらずSQL等は使いたくないので（でも、本当はこういう目的こそSQL等使って処理する必要があるんです。が、うちの場合はCGIからコールできるの専用テキストDBがゴリゴリと稼働していますので）テキストで出力されます。
このキャッシュデータに対して検索用CGIを動かせば、ブログ検索の出来上がりです。実質（XML解析のベース部分を除いて）２，３日で作った割にはかなりまともに動きそうです。

おまけ。

ちゃんと説明も付きました。