Die Effektivität des Junk-Mail-Filters von Outlook 2003

Wie der Junk-Mail-Filter zu bedienen ist und welche Technik dabei zur Anwendung kommt, habe ich neulich schon erläutert. Der Knackpunkt jedes Filters ist natürlich, wie effektiv er arbeitet.

Eine Beantwortung dieser Frage ist nicht ganz trivial. Zum einem hängt das Ergebnis jedes Tests von der Art der verwendeten Probe ab. Einen repräsentativen Ausschnitt aus der Unzahl der Spams zu finden, die Tag täglich durch das Netz geistern, ist nur mit sehr großem Aufwand möglich. Zudem erhält man immer nur eine Momentaufnahme, denn Spammer passen sich ständig an die Filtermethoden der bekannten Hersteller an.

Noch problematischer ist Feststellung der False-Positive-Rate. Diese wichtige Messzahl gibt an, wie viele normale E-Mails vom Filter fälschlicherweise aussortiert wurden. Um hier zu einer präzisen Aussage zu kommen, müsste man über eine repräsentative Auswahl von E-Mails im Allgemeinen verfügen. Da sich die bekannteren Filter häufig nur um wenige Prozentpunke in ihrer Leistungsfähigkeit unterscheiden, sind Vergleichstests grundsätzlich mit Vorsicht zu genießen.

Auch der Test, den ich für Outlook durchgeführt habe, kann nur zu einer groben Einschätzung der Effektivität des Filters dienen. Ich habe Outlook mit circa 700 relativ aktueller Spams bombardiert. Davon wurden in der Einstellung "Hoch" etwa 98% korrekt als Spam erkannt. Für die Einstellung "Niedrig" habe ich mir nicht die Mühe gemacht, Tests durchzuführen. Die Erkennungsrate ist so miserabel, dass ich sie eigentlich niemanden empfehlen kann. Wer unter keinen Umständen den Verlust einer Mail riskieren will, sollte auf einen Spam-Filter gänzlich verzichten.

Zur Bestimmung der False-Positive-Rate habe ich den Filter ebenfalls mit der Einstellung "Hoch" auf etwa 900 meiner eigenen Mails losgelassen. Diese Mails wurden zuvor schon von Spam gesäubert. Erstaunlicherweise wurde keine einzige Mail als Junk-Mail identifiziert. Dieses sehr gute Ergebnis ist unter anderem darauf zurückzuführen, dass viele meiner Mails von Kollegen stammen, die sich in derselben Exchange-Organisation befinden. Auf diese Mails wendet Outlook den statistischen Filter überhaupt nicht an. Ich habe deshalb dieselben Mails per POP3 vom Exchange-Server geladen, woraufhin Outlook auch wirklich alle Mails durch den Filter schleuste. Dabei ergab sich dann eine False-Positive-Rate von 5%.

Aber auch dieses Ergebnis ist nur von begrenzter Aussagekraft. Denn bei einer genaueren Betrachtung der falsch erkannten Mails stellte ich fest, dass alle von Kollegen stammten, die mir mal schnell einen Link, eine kurze Bemerkung oder einfach nur eine Datei zukommen ließen. Auf den ersten Blick sehen diese Mails tatsächlich auch aus wie Spam. Da man formlose Mails wohl hauptsächlich von Kollegen oder Bekannten bekommt, stellt dies kein großes Problem dar. Denn auch Mail-Adressen, die Outlook im Kontakte-Ordner findet, werden prinzipiell nicht gefiltert.

Kollegen, die den Outlook-Filter ebenfalls einsetzen, berichten, dass Outlook auch gerne mal einen Newsletter herausfiltert. Hier besteht dann die Möglichkeit, die entsprechende Absenderadresse zur Liste der sicheren Absender hinzuzufügen. Wie bei jedem anderen Spam-Filter auch wird einem nichts anderes übrig bleiben, als hin und wieder einen Blick auf die aussortieren Mails zu werfen.

Erwähnen sollte ich noch, dass Outlook ohne vorheriges Update des Filters nur auf eine Erkennungsrate von 96% gekommen ist. Es bleibt abzuwarten, wie schnell sich die Spammer anpassen werden und ob Microsoft dann immer rechtzeitig mit einer aktualisierten Version des Filters nachziehen wird. Der Vorteil dieses Verfahrens ist sicher, dass dem Anwender das lästige Trainieren des Filters abgenommen wird. Allerdings wird man in den meisten Fällen eine etwas niedrigere Trefferrate in Kauf nehmen müssen. Speziell auf die eigene Umgebung abgestimmte Filter erreichen häufig Raten von über 99%. Ein weiterer Nachteil der Microsoft-Methode ist freilich, dass man Outlook regelmäßig aktualisieren muss. Aber der sicherheitsbewusste Anwender macht das wohl inzwischen sowieso.

1 Kommentar

  1. Trackback von Michael Pietroforte am 10.07.04 11:44:

    Microsofts Anti-Spam-Lösung: Intelligent Message Filter für Exchange 2003

    Mein Beitrag über den Intelligent Message Filter (IMF) für Exchange 2003 ist jetzt auch in der Online-Ausgabe der Computerwoche erschienen. Ich habe dort die Funktionsweise, die Stärken und die Schwächen beschrieben. Wir setzen den Filter nun seit eini…