Očakávajme krach Bayesianskych filtrov
Nechcem byť zlým prorokom ale je nutné počítať so znižovaním účinnosti Bayesianskych filtrov. V našich jazykových podmienkach je ešte účinnosť veľmi vysoká vzhľadom na jazykové rozdiely.
Bohužiaľ nemožno predpokladať, že vývoj spamovacích nástrojov nepokračuje a okrem tradičnej metódy zvyšovania účinnosti spamu (málo odoziev? pošleme tisicnásobne viac emailov a budú zasa výsledky) sa určite mení obsah mailov so spamom. Pribúdajú „antifilter“ prvky v tak vysokej miere, že samotná informácia je len percentuálnym dielikom celého obsahu.
Dnes je v bežnej firme ešte vcelku únosné neriešiť spam vytvorením extra oddelení. Postmaster vcelku zvláda prílev spamu zachyteného vo filtroch vytriediť. A je ešte únosné spam iba označovať a ponechávať v schránkach ľudí.
Veľmi blízko je však doba, keď sa vo filtroch zachytí niekoľko tisícoch mailov denne. V ten moment už úspešnosť 99.9 percenta znamená fatálne dôsledky. Ak mi chodí denne dajme tomu 20 emailov „z internetu“ a filter mi z nich zachytil žiadny alebo jeden, po zvýšení „kadencie“ spamu mi celkom kľudne môžu filtre zachytávať 10 mailov.
Je doslova evidentné, že čo spam, to originál. Prečo? Proste záťaž generovania preberajú skripty na napadnutých cudzích počítačoch na menej kontrolovaných staniciach debilkov, ktorých jedinou životnou starosťou je mať „ten inet“ aby mohli „chodiť na to SME do diskusií“.
Písané pod heslom: antispamové filtre mi za víkend označili ako SPAM 4500 emailov. Mimo tie, ktore sa filtrami dostali úspešne dnu, mimo tie, ktore boli iba označkované ako „možný spam“.
Riešenie? Pomaličky začínať s agitáciou „e-mail je nespoľahlivý“. :-)
podpisy podla domen nie su riesenim? samozrejme, ak by boli aplikovane celoplosne.
[1] vsetko je riesenim :-)
ale podpisy podla domen je dajme tomu to iste ako elektornicky podpis.
momentalne najspolahlivejsie by bolo, pokial by najrozsirenejsie MTA a MUA obsahovali predinstalovane „bonzacke“ riesenie – klepnem na mail, oznacim ako spam, zapise sa do mojho filtra ale zaroven sa s istou vahou „bonzne“ niekam.
sucasne sa musi vyvinut tlak na to, aby sa znizil pocet zombie – pocitacov, ktore si veselo posielaju spam a ich majitel nic netusiac si iba prezera porno alebo bojuje s druhym riadkom textu vo worde ;-)
obavam sa, ze informatizacia – nielen v Europe ale najma v Afrike prispeje k invazii toho horsieho smerom k nam.
pri „klepnuti na mail“ Ti whatever v MTA je na prd. Nieco dodrotovat do MUA moze pomoct, ale myslim, ze cesta pojde skor k SPF, SenderID a podobnym veciam. V prvej faze asi skor volitelne t.j nieco v style „mozes mi poslat mail odkial chces, ale jeho doveryhodnost bude znizena, ak nebudes pouzivat overenie domeny“ a casom to moze prejst plynule na „mozes mi poslat mail odkial chces, ale zaradi sa mi do foldra SPAM ak nepouzivas overenie domeny“, az k moznosti „posli co chces, ale ak nemas automaticke overenie domeny, tak Ta rovno zmazem“ a zase by na chvilu mohol byt pokoj. Nie som optimista, ze boj na tomto fronte situaciu vyriesi. Treba na to ist inou cestou. A plosne.
[3] tiez si myslim, ze by sa mala prekonat nechut zahodit SMTP.
napriklad aj tou cestou, ze sa niekto rozhodne, ze nad uzavretou kapitolou „servre s SMTP“ bude definovany pocet „prestupnych“ miest, ktore budu navyse pod silnymi filtrami. A tieto prestupne miesta budu spolufinancovane tymi, ktori budu pouzivat nieco radikalne odlisne. Dokonca si viem prestavit technologie, ktore by nemuseli vobec vymenit alebo doplnit MUA. Iba by sa zmenili MTA.
Myslim, ze MUA by sa menit mozno nemuseli vobec. E-mail ako terminus technicus je v pohode akceptovany a prijatelny. Ci to bude medzi servermi behat na SMTP, ESMTP, SSMTP, alebo FMTP je koncovemu pouzivatelovi jedno a hlavne by mu to malo byt co najviac skryte a zmeny protokolu co najviac transparentne.
Ja SPAM eliminujem tak, ze admin mi urobil pristup do konfiguracie Spamassassinu. Tam si editujem black/whitelist a vlastne pravidla. Napr. za spam oznaci vsetko, co ma ine casove pasmo ako GMT 0000 az +0200. Mensi skoring dostanu maily s casom GMT 0000 a +0100 a ziadny +0200. Drviva vacsina spamu ma ine casove pasmo, ako je moje. Prejde mi jeden spam za 10 dni, ale musi mat casove pasmo +0200 a nesmu ho zachytit ostatne filtre Spamassassina :) Priznavam, ze pristup na konfiguraciu assassina nema bezny user.
To je aktualne riesenie Tvojho konkretneho problemu, nie plosne. Pokial mas obchodnych partnerov worldwide, tak toto nefunguje, navyse v mojom pripade (ex-admin freemailu, ktoreho adresa je dost preflaknuta) dostavam aj regulernych mailov dost husto a aj spamu tolko, ze keby som to mal riesit cez WL/BL, tak nerobim cele dni nic ine. Ja mam cez ceba filtrov zavesenych viacero, ale toto vsetko je barlicka. Chyba tomu systemove riesenie.
moja posledna veta prispevku je prave preto tak napisana: musi byt dokonale vsetkym jasne, ze email je nespolahlivy. az potom sa zacne uvazovat o niecom dalsom ako je len „hatanie“ pretrhnutej hradze.
Mozno by taku osvetovu kampan o nepolahlivosti emailu mohla zasponzorovat Slovenska posta! ;-)))