ベイジアンフィルタの改良を引き続き行っています。
根幹となるアルゴリズムは変わりませんが、HTMLタグ切り出しの精度や、特別な文字列（URLなど）を主に変更しています。

日本語の解析が相変わらず難しいのですが、日本語の場合「意味的に綺麗に切り出す＝精度が上がる訳」では無いので悩みどころです。
ベイジアンフィルタは単語（Token）単位の出現率を過去の出現率にあわせて判定を行うのですが、日本語の場合、言い回しってものがあり「言いましたね？」「言いましたネ？」と同じ意味でも切り出し方によっては判定が変わります。
文章を作成する人固有の言い回しや語句の使い方があるので、その特徴？を捉える意味でも現状の方式がいいかな、と思っています・・・が

一応、アルゴリズム自身も少し改良を考えていまして、改良版の実装を行ってみたのですが精度も上がるパターンもあれば下がるパターンもあり悩ましいです。
大量のspamをキープしてありますので、統計を取って良い方を選択したいと思います。