Zázračný nástroj na email a proti spamu

Hoci dnes už sú k dispozícii veľmi efektívne a ľahko použiteľné nástroje na boj proti spamu, málo užívateľov ich využíva a spam tak znepríjemňuje život stále väčšine užívateľov. Dnes si ale predstavíme softvér, ktorý nielenže je dokonalým ochrancom proti spamu, ale technológiu ďalej vylepšil a dokáže až neuveriteľne presne automaticky roztriediť emaily do ľubovoľných užívateľom určených kategórií podľa ich obsahu, napríklad na vtipy, pracovné emaily, školské emaily a osobné emaily.

DSL.sk, 14.4.2006

Vážnym problémom dnešného Internetu okrem bezpečnostných problémov je obrovské množstvo spamu, nevyžiadaných správ, ktoré plnia denno denne naše schránky a ktoré zbytočne ukrajujú z nášho času.

Hoci starostlivým zaobchádzaním so svojou emailovou adresou, jej nevystavovaním na webových stránkach a neuvádzaním v rozličných webových registračných formulároch sa dá spamu pomerne dlhý časť vyhýbať alebo aspoň eliminovať jeho množstvo, nakoniec sa takmer každá emailová schránka ku spamerom dostane.

Pokiaľ tak užívateľ nechce schránku prestať používať alebo tráviť zbytočný čas a námahu triedením svojej pošty od pliev, určite by mal uvažovať o nasadení nástroja pre boj proti spamu. A práve pokrok v tvorbe takýchto nástrojov umožnil vzniknúť softvéru POPFile, ktorý zďaleka nie je len nástrojom na boj proti spamu, hoci aj túto funkciu plní vynikajúco.

Čo je POPFile

Boj proti spamu bol v minulosti pomerne neúčinný, až kým v auguste 2002 neprišiel Paul Graham s originálnou myšlienkou bojovať proti spamu matematikou a pravdepodobnosťou.

Najlepšie antispamové filtre tak v súčasnosti využívajú tzv. Bayesiansku teorému pomocou ktorej počítajú pravdepodobnosť, že správa je spam podľa toho, ako často sa doteraz slová v nej obsiahnuté objavovali v minulosti v spamových a normálnych správach. Tento spôsob detekcie spamu funguje až prekvapivo účinne (často 99% a viac úspešnosť) po natrénovaní na poštu konkrétneho užívateľa.

Užívateľom nadefinované kategórie emailov

POPFile používa rovnakú technológiu, myšlienku ale posunul oveľa ďalej, keď nerozpoznáva iba spam, ale ľubovoľný počet druhov/kategórií emailových správ podľa predstáv užívateľa. Užívateľ ho samozrejme musí natrénovať.

POPFile tak môže umožniť nový spôsob používania emailu, keď nie je potrebné nastavovať manuálne mnoho triedení pre všetkých užívateľov, s ktorými komunikujete, zároveň je možné mať ale emaily prehľadne a efektívne triedené.

Užívateľ trénuje POPFile jednoducho tým, že u emailov, u ktorých ešte POPFile nevie, do ktorej kategórie patria, užívateľ určí správnu kategóriu. A podobne u emailov, kde bola kategória určená POPfilom nesprávne, ju zmení.

Aby POPFile mohol pracovať účinne a triediť správne drtivú väčšinu pošty, užívateľ musí mať jasnú predstavu o kategóriách a kategória musí byť jasne poznať z obsahu emailu. Ideálne je, keď je kritérium kategórie také, že platí na celý obsah emailu a týka sa tak skôr povahy emailu ako konkrétnych informácií v ňom obsiahnutých.

Vhodnou kategóriou tak nie je napríklad futbal, ak tam užívateľ plánuje zaradiť ľubovoľný email, v ktorom je akákoľvek zmienka o futbale. Vhodnou kategóriou sú ale napríklad pracovné emaily, osobné emaily, hromadne rozosielané emaily s vtipami, a samozrejme sa predpokladá, že užívateľ bude chcieť vytriediť spam.

A samozrejme nie je vhodné, aby medzi kategóriami boli nejaké dve obsahovo veľmi blízke, kde napríklad sám užívateľ zvažuje, do ktorej email zaradiť. Ak sú kategórie dobre zvolené, POPFile bez problémov pracuje s vynikajúcou účinnosťou aj s 10 kategóriami, niektorí užívatelia uvádzajú aj viacero desiatok kategórií.

Ukážka 100% zaradenia emailov do kategórií

POPFile sme testovali s 9 kategóriami a po natrénovaní nás veľmi príjemne prekvapil. Bez problémov s takmer 100% úspešnosťou triedil a rozlišoval spam, pracovné emaily od osobných, emaily s vtipami, tlačové správy a niekoľko ďalších kategórií.

Ako na to

POPFile pracuje ako tzv. POP3 proxy a je ho tak možné použiť s ľubovoľným emailovým klientom, Thunderbirdom, The Batom, Outlookom, Outlook Expressom a inými. Po nainštalovaní je len potrebné prestaviť v emailovom kliente, aby sa pripájal na POPFile na užívateľom počítači, cez ktorý sa pripojí na cieľový POP3 emailový server.

V základnom nastavení je potrebné zmeniť v klientovi emailový server na localhost, port 110 a užívateľské prihlasovacie meno na "pôvodný mailový server:110:pôvodné meno", teda napríklad "pop.domena.sk:110:jozko", ak sa predtým užívateľ so schránkou a loginom jozko pripájal na server pop.domena.sk.

Ako prvé je potrebné nadefinovať jednotlivé kategórie. Pri inštalácii POPFile vytvorí štandardných 5, užívateľ si ich môže ale hneď pri inštalácii ale aj neskôr zmeniť. Je dôležité si uvedomiť, že POPFile netriedi emaily samozrejme podľa mien kategórií, ale podľa toho, aké emaily ho označovaním naučíme do jednotlivých kategórií zaraďovať.

Nadefinované kategórie a zmeny v konfigurácii

Užívateľské rozhranie POPFile je v podobe lokálnych web stránok a spúšťa sa cez ikonku POPFile v systray. Užitočnými nastaveniami okrem zmien kategórií v záložke "Buckets", ako kategórie označuje POPFile, je aj zmena niektorých nastavení rozhrania, napríklad skin s menším písmom, menší počet správ na stránku a zvýšenie počtu dní uchovávania správ, napríklad na 7 alebo viac.

Pri ďalšom sťahovaní pošty táto bude prechádzať už cez POPFile, ktorý v prípade, že vie správu zaradiť, pridá do správy políčko v hlavičke "X-Text-Classification: kategória". V bežnom emailovom klientovi je potom možné napríklad nadefinovať filtre, ktoré budú správy podľa tohto políčka a kategórie rozdeľovať do samostatných priečinkov, vizuálne ich označovať a samozrejme v prípade spamu ho dávať do na to určeného špeciálneho priečinku.

Nezaradený email

Emaily zároveň zostanú po definovaný počet dní uchované v POPFile. Na začiatku všetky správy budú nezaradené, cez webové rozhranie v záložke History je ich možné zaradiť, čím sa POPFile učí a z nasledujúcich prichádzajúcich správ bude čoraz viac zaradených.

POPFile je zároveň možné integrovať do viacerých najpoužívanejších poštových klientov, vrátane Thunderbirdu, The Bat, Outlooku a Outlook/Expressu. Po integrácii môže potom klient aj zobrazovať kategóriu, do ktorej bol email zaradený a poskytovať linku do webového rozhrania POPFile na zmenu zle určenej kategórie. Presné inštrukcie pre jednotlivých klientov je možné nájsť na tejto stránke.

Na začiatku je potrebné POPFile natrénovať, aby mal dosť informácií pre správne zaraďovanie emailov. Dĺžka trénovania a počet potrebných správ záleží na mnohých faktoroch, zvolených kategóriách, prichádzajúcich emailoch, atď. Užívateľ by mal určovať kategórie pri všetkých nezaradených správach a neskôr meniť nesprávne určené kategórie.

Pri dobrom natrénovaní môže užívateľ očakávať úspešnosť 98% alebo dokonca ešte vyššiu.

Úspešnosti pri trénovaní a pravdepodobnosti pre konkrétny email

Celkovú úspešnosť a úspešnosť pre jednotlivé kategórie je možné nájsť vo webovom rozhraní POPFile. Tiež je tu možné nájsť viacero ďalších zaujímavých informáci, napríklad najviac určujúce slová, ktoré rozhodli o zaradení správy do danej kategórie, zoznam slov pre kategóriu, pravdepodobnosti, s akými POPFile rozhodol o zaradení konkrétnej správy do jednotlivých kategórií.

POPFile, voľne zdarma dostupný open source softvér, je možné sťahovať a prípadné podrobné informácie pre jeho inštaláciu a používanie nájsť na tejto stránke.

Ako POPFile používať

Užívatelia v súčasnosti nevyužívajú email jednotným spôsobom, viacerí svoj email triedia do priečinkov pomocou manuálne zadaných filtrov, iní zase majú všetok svoj email v jednom priečinku a využívajú manuálne definované vyhľadávacie virtuálne priečinky.

Tieto postupy triedenia pracujú efektívne pri už známych odosielateľoch, neporadia si ale s emailami od nových užívateľov. Užívatelia tiež prirodzene chcú venovať iné priority rozličným typom emailom, v oboch týchto prípadoch môže byť použitie POPFile na triedenie na kategórie veľmi užitočné a POPFile tak môže uľahčiť emailovanie užívateľom nielen detekciou spamu.

POPFile tiež prichádza so zaujímavým riešením pre užívateľov využívajúcich IMAP, keď v prípade IMAP nepracuje ako v prípade POP3 ako proxy, ale ako klient, ktorý sa pripája k IMAP účtu a poštu na účte popresúva do priečinkov určených pre jednotlivé kategórie.

POPFile zároveň monitoruje zmeny a presuny v týchto priečinkoch vykonané užívateľom, ktoré nahrádzajú určenie kategórií vo webovom rozhraní.

Pokiaľ nepoužívate žiadny spam filter, doporučujeme vyskúšať POPFile. Oproti zabudovaným filtrom v konkrétnych klientoch má napríklad tú výhodu, že je ho možné využívať s ľubovoľným klientom a napríklad pri prechode na iného emailového klienta bude spamová detekcia pracovať hneď po prechode bez potreby začiatočného trénovania. Triedenie na ďalšie kategórie je tiež mimoriadne zaujímavou funkciou, ktorá v závislosti na spôsobe používanie emailu užívateľom môže byť veľmi užitočná.





Najnovšie články:



Diskusia:

Free Od: Free | Pridané: 14.4.2006 18:17 Ked som si precital titulok uz som myslel ze dakto zmeskal 1.april Odpovedať Hodnotiť:

Astalavista Od: Astalavista | Pridané: 14.4.2006 19:43 Zase tendencny clanok plny nezmyslov.Nebudem rozpisovta vsetky,ale ako moze autor napisat o softe, ze je dokonaly, ked nic nie je dokonale? Potom sa pani nedivte, ze vas maju na debilov... Odpovedať Hodnotiť:

salmek Od: salmek | Pridané: 14.4.2006 19:57 Ty si teda pekny trtko, este tu aj pises pod rozlicnymi menami... O co Ti ide a kto si? Ten clanok je uplne v poriadku, co viem posudit, bayesianske filtre mam nastudovane a je odborne plne korektny... Co sa Ti tam nezda? Odpovedať Hodnotiť:

Uhlik Od: Uhlik | Pridané: 14.4.2006 23:55 ten rozsah 87.197.139.* patri do rozsahu DSL od ST a teda nepisal tu on pod roznymi menami, ale prispeli tu dvaja co maju DSL ... Odpovedať Hodnotiť:

Astalavista Od: Astalavista | Pridané: 15.4.2006 2:02 Salmek, Ty debílek, ked nevies ako je pridelovana dynamicka adresa z T-Comu, tak sa neozyvaj.Narazal som len na to, ako moze niekto smelo vyhlasit, ze sa jedna o "dokonaly" nastroj, ked nic vo svete IT nie je dokonale. Tak nabuduce zadrž a radsej sa zamysli. Odpovedať Hodnotiť:

tom Od: tom | Pridané: 15.4.2006 3:35 no ked sa uz chces hrat na chytreho, tak by si mal predtym porozmyslat. ak sa zhoduje /24 adresa u DSL ST, sanca, ze by v intervale par minut prispievali dvaja uzivatelia, ktorych az prvych 24 bitov adresy sa zhoduje, je dost nizka a je to takmer jasny dokaz, ze to pisal ten isty clovek. chod si liecit svoju agresiu a ine problemy inde, ja si tu chcem citat normalne komentare k veci. Odpovedať Hodnotiť:

Astalavista Od: Astalavista | Pridané: 15.4.2006 16:11 Príspevok bol zmazaný pre nevhodný a/alebo vulgárny obsah. Odpovedať Hodnotiť:

Spammer Od: Spammer | Pridané: 14.4.2006 19:47 Patrik Horník, prestatne pisat nezmysly do clankov, lebo ludia budu mat potom pocit, ze je to bulvar. Odpovedať Hodnotiť:

PH Od: PH | Pridané: 14.4.2006 20:18 Poprosím Vás, ak máte konkrétne odborné výhrady, kľudne ich formulujte, rád s Vami o nich podiskutujem. Tiež Vás ale poprosím o nepísanie bezdôvodných osobných invektív a ďalších príspevkov znehodnocujúcich diskusiu. Odpovedať Hodnotiť:

Stano Kosnac Od: Stano Kosnac | Pridané: 15.4.2006 15:49 Patrik by mal radsej povedat, ci aj zvysna cast ip adresy je taka ista aku ma Astalavista. Som velmi zvedavy. Mozte sa vyjadrit, ci je to od toho isteho cloveka ? Odpovedať Hodnotiť:

Propediotika Od: Propediotika | Pridané: 15.4.2006 20:00 To by veru aj mna zaujimalo! Odpovedať Hodnotiť:

heh Od: heh | Pridané: 16.4.2006 12:21 no ty si blbecek.je videt ze si este nebol na stranke zive.sk..... tam sa mozes veselo vyburit. Odpovedať Hodnotiť:

Majo Od: Majo | Pridané: 14.4.2006 21:28 Nevidim na tom clanku nic zle, uplne normalny clanok. AK NECHCES NECITAJ! Odpovedať Hodnotiť:

Majo Od: Majo | Pridané: 14.4.2006 21:29 Nevidim na tom clanku nic zle, uplne normalny clanok. AK NECHCES NECITAJ! Odpovedať Hodnotiť:

fuli Od: fuli | Pridané: 15.4.2006 2:01 myslim, ze spravne sa pise "e-mail" "email" je naterova hmota :-)) Odpovedať Hodnotiť:

rad Od: rad | Pridané: 15.4.2006 12:53 tupce. asi to sem musis napisat, lebo si nad tym 2 minuty musel rozmyslat "co to vlastne je". Odpovedať Hodnotiť:

miro Od: miro | Pridané: 15.4.2006 10:08 nevychytávaj chybičky Odpovedať Hodnotiť:

stevop Od: stevop | Pridané: 15.4.2006 13:25 z diskusie som sa dovedel velke H...O lebo sa tu hadate o somarinach ako male detska a nic k veci Odpovedať Hodnotiť:

datel woody Od: datel woody | Pridané: 15.4.2006 13:38 takze: clanok som necital, pretoze problemy so spamom nemam, ako to ze niekto ano?? vy asi zverejnujete svoju e-mailovu adresu vsade kde sa da a pouzivate int explorer Odpovedať Hodnotiť:

tom Od: tom | Pridané: 15.4.2006 13:45 tak to si si mal, zďaleka to nie je len na spam a ku spamu, je to otázka času väčšinou, adresy zvykne ukradnúť napríklad aj worm/vírus z pošty u niekoho, s kým si si písal a potom sú väčšinou už vonku... ale keď si dávaš pozor a vôbec s nikým si nemailuješ a email nepoužívaš, potom v pohode :) Odpovedať Hodnotiť:

tom Od: tom | Pridané: 15.4.2006 13:42 no ja konečne pridám jeden k veci - skúšam to od včera a je to dosť cool. zatiaľ som mal síce len cca do 70 emailov, z toho dosť spamu, ale zdá sa, že to funguje viac ako dobre. je to celkom sranda, a napríklad, často diskujem o jednom konkrétnom projekte, čo robím v robote, tak som si spravil zvlášť kategóriu len na to a preposlal som si nejaké také maily a po naučení 3 správami ostatné bez problémov zaraďuje tam... dobré je, že sa to dá odskúšať bez nejakých deštruktívnych dôsledkov, a aj celkom rozmýšlam, že by som si to nejak nasadil definitívne... minimálne určite si spravím virtuálne vyhľadávacie prečinky podľa toho, do akej kategórie to zaradí... Odpovedať Hodnotiť:

ThetOM.SK Od: ThetOM.SK | Pridané: 15.4.2006 16:44 Bluebottle email provider poskytuje free mail: 250 MB (POP3 a SMTP) a ma 100% spam ochranu, pretoze cez POP3 sa stiahnu len maily z povolenych adries, samozrejme moze to byt povazovane aj za nevyhodu, pretoze ak si napr moj kamarar zmeni mail a napise mi z noveho, tak to zistim, len ked si cez web access pozriem zablokovane maily. Vyhodou je, ze web rozhranie je a CZ a SK. Odpovedať Hodnotiť:

Astalavista Od: Astalavista | Pridané: 15.4.2006 21:31 Najlepsia schranka a aj spamovy filter je od googlu.Ostatne su len parodia na e-mail... Odpovedať Hodnotiť:

Maa Od: Maa | Pridané: 18.4.2006 23:17 no na googlovi je jedna fasa vec ... vytvoril som si schranku ... este som ju nestihol ani pouzit len bola vytvorena a panenska, kedze som z nej neposlal ani jeden email a o mesiac bol v nej spam !!! ked mi toto niekto vysvetli ????? v guglovi maju zrejme diery :-) ci co ? Odpovedať Hodnotiť:

tom Od: tom | Pridané: 19.4.2006 13:47 Spam sa nakoniec dostane vsade... Na .sk emaily trochu pomalsie, ale ked ten email pouzivas, aj hocijako opatrne, ale skratka normalne pouzivas, nakoniec sa Ti tam vzdy zacne objavovat spam. Aspon take su moje skusenosti, a email uz pouzivam nejakych 12 rokov... Casto skusaju napriklad aj adresy naslepo a tak hladaju nove - mailovy server na Gmaily im povie, ak schranka neexistuje... Odpovedať Hodnotiť:

len skusam Od: len skusam | Pridané: 15.4.2006 23:10 len skusam Odpovedať Hodnotiť:

blondy Od: blondy | Pridané: 16.4.2006 9:31 nemali tu davat ip adresu, teraz budu stale hadky okolo toho Odpovedať Hodnotiť:

jedenzmala Od: jedenzmala | Pridané: 16.4.2006 12:43 vyzerá to byť fakt cool, lenže ja som človek, ktorému príde tak 5mailov za týždeň a z toho je jeden spam... Takže mi asi ten program na moc vecí nebude, ale ak by sa mi zišiel na niečo, dal by som si ho.... Inak sranda keď čítam celú "diskusiu" presne ako deti s vyšším IQ Odpovedať Hodnotiť:

antiVISTA Od: antiVISTA | Pridané: 16.4.2006 13:06 Ako tak pozorujem, z DSL sa nam pomaly stalo ZIVE. A to je skoda. Coraz viac zmysluplnych nazorov fundovanych odbornikov a plodna diskusia na profesionalnej urovni. (reakcia na vyplody pod clankom) Zdravy rozum, odpocivaj v pokoji. Budes nam chybat. Odpovedať Hodnotiť:

Pridať komentár