title_parttitle_parttitle_part
静岡県浜松市であれこれソフトを開発している A.K.I Software のブログです。日々の開発日記やサーバー・セキュリティ関連の話題なども掲載。
<< 2024/04 >>123456789101112131415161718192021222324252627282930
《《《 ネットワーク機器の購入は Amazon で! 》》》
Powered by BLOM 画像spamへの対策。画像フィルタを実装中
小さくも大きくも閉じたりもしません
09/09/09 04:20 / PMailServer2

PMail Server には spam フィルタが内蔵されているのですが、テキスト系、バイナリ系フィルタに続いて画像系フィルタの実装を行っています。

photo


上記は製品版付属の feditor.exe に追加している画像spam用フィルタの作成画面です。

手順としては
1)画像spamが入った eml から抽出したり直接画像を読んだりします。

2)「この辺りがそれっぽいなー」と思う所をお好みでカットします。

3)しきい値と2値化値とサイズを調整します。

2値化値とは、フルカラーで識別するとそれは高精度になりますが笑えないレベルで時間がかかるので(と言っても1秒程度ですが。同時に複数からの接続があるサーバーではこの1秒が長いのです。2値化することにより1通辺り平均 100ms ほどで処理するように調整してあります)
高速化の為に白黒に変換する処理です。スライドバーを動かすと画像が変化します。シルエットで当てる為に調節するという感じですね。

しきい値とは、抽出した画像と eml ファイルに含まれる画像の一致率を%で指定します(50〜100)
100% を指定すれば完全一致、50% を指定すれば半分くらい似ていたら一致させるという感じです。

しきい値は結構重要でして、spam画像の大半が jpeg ファイルなのですが、jpeg ファイルの圧縮はいわゆる非可逆圧縮と呼ばれ圧縮する度に画像が劣化していきます。圧縮率というものもあり、圧縮率を高くするとそれだけ「ノイズ」が乗ります。このノイズを除去する為にしきい値を導入してあります。
2値化としきい値の組み合わせで、背景に色つけたり、線を入れたりしてすり抜けようとする画像spamを捕まえることができる訳です。

サイズは画像のサイズを指定します。
spammer は大量のメールを高速に送りたいので、画像は割と小さくして送ることが多いです。対象の spam の画像以下を指定すれば、それ以外の画像を誤判定することも無くなり、処理も高速化できるということです。

テストでは、弾きたい spam 30通(似たような画像ですがびみょーーに違うもの。しきい値100ではヒットしないものを選びました)を大小種類様々な画像を添付した弾きたくないメール 500通の中に放りこんで行ったところ

しきい値 100 >ヒットせず
しきい値 90 >5通ヒット
しきい値 85 >30通全てヒット

という結果になりました。もちろん誤判定は0です。

他のフィルタを比較して重いフィルタになりますので大量に入れた場合、それなりに重くなってしまうのですが(繰り返しますが1通1フィルタ辺り 100ms 程なので 10フィルタとしても 1s です。eml を受信した直後に中身を解析して画像ファイルを抽出してフィルタするという処理をしているので、速度的にはこれくらいが限界です。画像マッチングのアルゴリズムは色々ありますが、前処理で時間食われたりするので結構単純でそこそこ早いアルゴリズムを考えました)

画像フィルタは Pro板限定の機能となりますので、Pro板ユーザーの方は次のバージョンをお待ち下さい。

[更新日付:2009/09/09 04:20:50]
トラックバックを見る(0)
Log Link [https://akisoftware.com/cgi-bin/blom.exe?akisoft+sl+6c0584f973adb6481240a94b078278636626c9a9]
TB Link [https://akisoftware.com/cgi-bin/blom.exe?akisoft+tb+6c0584f973adb6481240a94b078278636626c9a9]

記事へのコメント

名前 : H.Matsuda (2009/09/11 15:05:23)

>moto 様

いつも PMail Server をご利用頂きありがとうございます。

採算・・・は難しいところですね(^-^;

ただ今の所自ら欲しい機能を実装していますので、これで有償アップデートにしたら逆にユーザー様に申し訳無いかなと思っていたりもします。
なにかドーンと大きな変更を行う際は有償アップデートにしようとも考えておりますが、今の所まったく予定にありません(^-^;

名前 : moto (2009/09/11 02:00:25)

あの...
pro版を使用させてもらってます。
何度か質問もさせていただきました。
いつもありがとうございます。


あの...
無償アップデートが申し訳ないくらい、高機能になってきていますね。
ユーザーとしては当然ありがたいのですが、採算合ってますか?
そんな勝手に心配をしていたりします。

いつもありがとうございます。

名前
コメントキー
 
コメントする時はキーを正確に入力して下さい
コメント
アドレスを含んだコメントはできません
© 2008-10 A.K.I Software all rights reserved.