<< 2024/04 >> | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 |
|
画像spamへの対策。画像フィルタを実装中
09/09/09 04:20 / PMailServer2
PMail Server には spam フィルタが内蔵されているのですが、テキスト系、バイナリ系フィルタに続いて画像系フィルタの実装を行っています。
上記は製品版付属の feditor.exe に追加している画像spam用フィルタの作成画面です。 手順としては 1)画像spamが入った eml から抽出したり直接画像を読んだりします。 2)「この辺りがそれっぽいなー」と思う所をお好みでカットします。 3)しきい値と2値化値とサイズを調整します。 2値化値とは、フルカラーで識別するとそれは高精度になりますが笑えないレベルで時間がかかるので(と言っても1秒程度ですが。同時に複数からの接続があるサーバーではこの1秒が長いのです。2値化することにより1通辺り平均 100ms ほどで処理するように調整してあります) 高速化の為に白黒に変換する処理です。スライドバーを動かすと画像が変化します。シルエットで当てる為に調節するという感じですね。 しきい値とは、抽出した画像と eml ファイルに含まれる画像の一致率を%で指定します(50〜100) 100% を指定すれば完全一致、50% を指定すれば半分くらい似ていたら一致させるという感じです。 しきい値は結構重要でして、spam画像の大半が jpeg ファイルなのですが、jpeg ファイルの圧縮はいわゆる非可逆圧縮と呼ばれ圧縮する度に画像が劣化していきます。圧縮率というものもあり、圧縮率を高くするとそれだけ「ノイズ」が乗ります。このノイズを除去する為にしきい値を導入してあります。 2値化としきい値の組み合わせで、背景に色つけたり、線を入れたりしてすり抜けようとする画像spamを捕まえることができる訳です。 サイズは画像のサイズを指定します。 spammer は大量のメールを高速に送りたいので、画像は割と小さくして送ることが多いです。対象の spam の画像以下を指定すれば、それ以外の画像を誤判定することも無くなり、処理も高速化できるということです。 テストでは、弾きたい spam 30通(似たような画像ですがびみょーーに違うもの。しきい値100ではヒットしないものを選びました)を大小種類様々な画像を添付した弾きたくないメール 500通の中に放りこんで行ったところ しきい値 100 >ヒットせず しきい値 90 >5通ヒット しきい値 85 >30通全てヒット という結果になりました。もちろん誤判定は0です。 他のフィルタを比較して重いフィルタになりますので大量に入れた場合、それなりに重くなってしまうのですが(繰り返しますが1通1フィルタ辺り 100ms 程なので 10フィルタとしても 1s です。eml を受信した直後に中身を解析して画像ファイルを抽出してフィルタするという処理をしているので、速度的にはこれくらいが限界です。画像マッチングのアルゴリズムは色々ありますが、前処理で時間食われたりするので結構単純でそこそこ早いアルゴリズムを考えました) 画像フィルタは Pro板限定の機能となりますので、Pro板ユーザーの方は次のバージョンをお待ち下さい。 [更新日付:2009/09/09 04:20:50]
トラックバックを見る(0) Log Link [https://akisoftware.com/cgi-bin/blom.exe?akisoft+sl+6c0584f973adb6481240a94b078278636626c9a9] TB Link [https://akisoftware.com/cgi-bin/blom.exe?akisoft+tb+6c0584f973adb6481240a94b078278636626c9a9] 記事へのコメント 名前 : H.Matsuda (2009/09/11 15:05:23) >moto 様 いつも PMail Server をご利用頂きありがとうございます。 採算・・・は難しいところですね(^-^; ただ今の所自ら欲しい機能を実装していますので、これで有償アップデートにしたら逆にユーザー様に申し訳無いかなと思っていたりもします。 なにかドーンと大きな変更を行う際は有償アップデートにしようとも考えておりますが、今の所まったく予定にありません(^-^; 名前 : moto (2009/09/11 02:00:25) あの... pro版を使用させてもらってます。 何度か質問もさせていただきました。 いつもありがとうございます。 あの... 無償アップデートが申し訳ないくらい、高機能になってきていますね。 ユーザーとしては当然ありがたいのですが、採算合ってますか? そんな勝手に心配をしていたりします。 いつもありがとうございます。 |
@AKISoftOfficialをフォロー
掲示板 サポートBBS PMailServer BBS アクセスの多い記事
最新記事(カテゴリ別)
PMailServer2 Version 2.53 をリリースしました。
04/08 00:50 フリー版からの製品版移行時の MTA 並列数について 02/17 23:52 メールサーバーの開発を始めて20年 02/07 21:46 PMailServer2 Version 2.52a をリリースしました。 12/26 14:02 PMailServer2 Version 2.52 をリリースしました。 10/01 10:48 PMailServer2 Version 2.51b をリリースしました。 09/19 01:43 PMailServer2 Version 2.51b(仮) Memo 09/12 00:33 PMailServer2 Version 2.51a をリリース、及び脆弱性についてのお知らせ 09/05 01:15 PMailServer2 Version 2.51a Memo 08/21 00:48 アドレスV125(K5)のスターターリレーの交換 08/04 10:10 最新コメント
UUアクセス数
今日は 241回
昨日は 203回 トータル 303543回 3ヶ月記事別ランキング
プロフィール
Z80から68系、8086系を経由して
Pascalに移行。現在は Delphiをメインに C/C#も囓ってみたり。 「無い物は作れ」の精神で年がら年中なにかを作っています。 すぐ自前で作りたがるので無駄に工数が上がったりして自爆してみたりもします。 好きな物は麺類とお煎餅 Blom内検索
BLOM Version 1.39 ©2007-15 A.K.I Software all rights reserved. |