+36 30 355 0880

0-24 Tudástár

Témakörök:

Találj meg minket a Google+-on

Hogyan működik a SPAM szűrés?

 

 

Találtam egy nagyon részletes írást, amiben az egyik legnagyobb hazai levelező szolgáltató árul el benső "titkokat" arról, hogy hogyan működik a SPAM szűrőjük. Ez dönti el, hogy az általad küldött leveleket megkapja a címzett vagy sem.

Azért is érdemes elolvasnod, mert hasonlóan működik minden levelező szolgáltató. A leírásból látni fogod, hogy a spam elkerülése nem olyan egyszerű dolog, hogy milyen szoftverrel küldöd a leveleket vagy, hogy milyen szerverről. Ennél összetettebb folyamat.

Remélhetőleg így át fogsz látni azokon, akik arra törekszenek, hogy a valótlan információikkal megtévesszenek.

 

A bejegyzés 2015.12.01 - én kelt a Hup.hu fórumán.

Szerző: Tamás Péter

 

A Freemail spamszűréséről

 

A Freemail spamszűrése jelenleg a Cloudmark (https://www.cloudmark.com/en) spamszűrésén és számos külső blacklist együttműködésén alapszik.

A Cloudmark spamszűrője 0-100 pont közötti pontszámot ad minden levélnek.
Mi jelenleg azon leveleket dobjuk el, amik 100 közeli pontszámot érnek el, vagy kevesebb pontot kapnak, de szerepelnek egy vagy több BL-en. Azért nem írom le, hogy ez 98 vagy 95, mert ezen időről időre szoktunk mi is állítani.

Azok a levelek kerülnek a spam mappába, amik nem 100 közeli, de magas pontszámot értek el, vagy alacsony pontszámot kaptak, de fent vannak pontosan 1 BL-en (ha többön, akkor eldobjuk a levelet).

 

A Cloudmark spamszűrő technológiájáról, avagy mi alapján kap egy levél 0-100 pontot

 

A Cloudmark spamszűrő technológiájának lelke az ún. fingerprinting algorithm (https://www.cloudmark.com/en/press/new-cloudmark-fingerprinting-algorithm-rapidly-detects-and-blocks-email-borne-viruses).

 

Ez nagyon leegyszerűsítve, azt csinálja, hogy:

• apró elemeire bontja a teljes levelet, annak fejlécével, tartalmával együtt,
• ujjlenyomatokat" készít a levél minden apró részéről,
• a levélhez tartozó ujjlenyomatokat megfuttatja az ujjlenyomat adatbázisában,
• ha talál spamnek vagy vírusnak jelentett ujjlenyomatot a levélben, elkezdi lefelé pontozni a levelet,
• ha sok negatív ujjlenyomatot talál vagy csak egyet, ami "nagyon negatív", az már 100 közeli pontszámot eredményez

 

Negatív jelzést egyedül a felhasználóktól kaphatnak az ujjlenyomatok, amikor egy felhasználó spamnek jelent egy levelet:

 

• a spamnek jelentett levelet elküldjük automatikusan a Cloudmarknak,
• a Cloudmark a levél ujjlenyomatait összehasonlítja a többi spamnek jelentett levél ujjlenyomataival, és hasonlóságot keres,
• azon ujjlenyomatokat, amit több különböző spamnek jelentett levélben is megtalál, megjegyzi, mint negatív ujjlenyomatot

 

Minek lehet ujjlenyomata egy levélben?

Bárminek…

•  egy képnek (akár logónak, stock fotónak),
•  egy szónak (akár cégnévnek),
•  egy szövegrésznek,
•  egy csatolmánynak,
• ....

 

A Cloudmark ezeket intelligensen dolgozza fel, hogy pl a “Kedves XY” kifejezést még véletlenül se értékelje negatív ujjlenyomatként.

 

Tapasztalataink a jelenlegi spamszűrésünkkel

Sajnos vegyesek...

Egyrészt azt látjuk, hogy alapvetően működőképes ez az algoritmus: nem büntet ok nélkül.
Másrészt van olyan eset, amikor túlzónak érezzük a döntését (pl domain szintű tiltások).
Harmadrészt vannak olyan spammerek, akik egész gyorsan rátanultak arra, hogy hogyan tudják kijátszani.
Azaz egyszerre érezzük túl erősnek és túl gyengének a jelenlegi szűrésünket.
Ez egy probléma, ami egyaránt érint titeket is és minket is.

 

Kifejtem kicsit bővebben a vegyes tapasztalatainkat.

Azt látjuk, hogy a jelenlegi spamszűrésünk alapvetően nem büntet ok nélkül:

•  a hozzánk beérkezett panaszokat kivizsgálva az esetek 90+%-ában a levelek eldobásának az oka az, hogy
•  vagy csapda címekre is (nem tiszta adatbázisra) küldenek leveleket,
•  vagy a felhasználók tömegesen jelentik spamnek a küldő leveleit,

 

Azt is látjuk, hogy a jelenlegi spamszűrésünk néhány esetben túlzó döntéseket hoz:

Például találkoztunk tárhelyszolgáltató céggel, akiknek a tárhelyein egyszerre voltak tömegesen reklámlevelet küldők, magán weboldalak és a cégnek a saját levelező szolgáltatása. A közös az volt a náluk lakó összes kisebb szolgáltatásban, hogy a tárhelyszolgáltatótól küldött levelek láblécébe a cég automatikusan odarakta a tárhelyszolgáltató megnevezését.

Amikor ennél a tárhelyszolgáltatónál volt olyan időszak, hogy volt nála olyan magán webhely, amit támadók feltörtek, és vírusos leveleket küldtek onnan,  voltak olyan tömeges levelek, amit rajtuk keresztül küldtek, és sokan jelentették spamnek ezeket a leveleket, akkor a Cloudmark arra tanult rá, hogy ezekben a levelekben a közös az, hogy mindegyik alján szerepel a tárhelyszolgáltató neve, ezért elkezdett eldobni minden levelet, aminek az alján megtalálta ezt a nevet.

Ez azt jelentette, hogy a tárhelyszolgáltató cég által nyújtott személyes levelező szolgáltatásról küldött levelek sem érkeztek meg Freemailre.

 

Azt látjuk, hogy a jelenlegi spamszűrésünket még mindig ki tudják játszani a spammerek:

Ezen nagyon nincs mit részletezni, sajnos még mindig jóval több spam jut át a spamszűrésünkön, mint amennyit szeretnénk.
Ez ellen folyamatosan küzdünk, ahogy a spammerek is folyamatosan alkalmazkodnak.

 

 

Mi a megoldás jelenleg?

Először is különböztessük meg a Freemail felé _tömegesen_ érkező leveleket 2 típusát:

• vannak adminisztratív levelek,
• vannak nem adminisztratív levelek (reklám célú, marketing jellegű levelek)
•  

Adminisztratív levelek definíciója a mi olvasatunkban:
"azok a levelek, amelyeket logikus körülmények között a felhasználó sosem jelentene spamnek".

Ezek azok a levelek, amikért mindent megteszünk, hogy bejusson a felhasználóink inboxába.

Ha kell - és ha máshogy nem biztosítható ez -, whitelist-re tudjuk tenni azokat az IP címeket, ahonnan csak és kizárólag adminisztratív jellegű levelek érkeznek.
A whitelist lehetőségét felajánlottuk mindenkinek, aki ilyen jellegű problémával megkeresett minket, ez a lehetőség nyitott mindenki számára, akinek az adminisztratív levelei egyébként nem feltétlenül jutnának be a Freemailen inboxba. Ilyen például a fenti tárhelyszolgáltató cég esete.

A whitelist lehetőségnek a következő feltételei vannak:

• az adminisztatív leveleknek külön IP címről kell érkezniük, amin csak és kizárólag adminisztratív levelek érkeznek,
• amint megtaláljuk az első nem adminisztratív levelet, ami whitelist-es IP-ről érkezik, töröljük a whitelistről az IP címet, és nem adunk újabb lehetőséget visszakerülni ide (innentől ugyanannyi esélye van bekerülni ezeknek a leveleknek, mint bármely más levélnek)

Nem adminisztratív levelek esetén a következő a teendő a jelenlegi folyamataink szerint:
1. Küldjetek nekünk e-mailt az

info@freemail.hu

címre (biztos, ami biztos, cc-be nyugodtan berakhattok engem is:

tamas.peter@origo.hu

) a következő információkkal:
* küldő IP cím(ek)
* log részlet, amelyben látszik:
** a pontos hibaüzenet
** a küldés pontos időpontja
** a címzett

2. Ekkor mi feljegyezzük a panaszhoz tartozó:
* időpontot
* cégnevet
* kapcsolattartót és e-mail címét

3. Ha a panaszban nincs a nyomozáshoz elegendő technikai információ (lásd 1.), bekérjük ezeket

4. Elegendő technikai információ birtokában Freemail szerver oldali logot kérünk az eldobott levélhez (ebben van benne ugyanis a spamszűrő által elhelyezett kódolt string, amely az eldobás okának ujjlenyomatait tartalmazza)

5. A Freemailes szerver oldali logot elküldjük elemzésre a Cloudmarknak

6. A Cloudmarktól megkapjuk az elemzés eredményét

7. Az elemzés ereményét feljegyezzük a panaszhoz

8. Az eredménytől függően a következők lehetségesek:

• Ha nagy problémát látunk (pl vírus küldés)
  
   
  • ezt jelezzük a küldő felé,
  • kérjük, hogy ezt oldja meg, majd vegye fel velünk ismét a kapcsolatot
• Ha a küldőnek ez az első problémája nálunk:
  • reset-eljük a hozzá tartozó ujjlenyomato(ka)t,
  • megírjuk neki, hogy a probléma okát, és hogy min változtasson ahhoz, hogy a jövőben ezt elkerülje,
  • megírjuk neki, hogy reseteltük
     
• Ha a küldő már korábban is járt nálunk hasonló problémával:
  • megírjuk neki, hogy a probléma okát, és hogy min változtasson ahhoz, hogy reseteljük
  • Ha csak admisztratív leveleket érint a probléma (ilyen még nem volt)
  • reseteljük a hozzá tartozó ujjlenyomatot,
  • ha már korábban reseteltük, és ismét fennáll a tiltás, és nem látunk nála problémát: whitelistre tesszük az IP címét
     
• Ha adminisztratív levelei is érintettek a problémában (ilyen előfordul):
  • ha az adminisztratív levelek külön IP címről érkeznek, és más úton nem tudjuk megoldani, hogy beérkezzenek ezek a levelek (lásd a tárhelyszolgáltatós történet): whitelistre tesszük ezt az IP címét
  • ha az adminisztratív levelek ugyanazon IP-ről érkeznek, mint a reklámlevelei, megkérjük, hogy ezeket szedje szét, és ezután reseteljük

 

Ennek a folyamatnak az átfutási ideje normál esetben 1-2 nap.

 

Miben látjuk a hosszú távú megoldást?

 

Amint lehet, szeretnénk elindítani a Freemail feedback loop szolgáltatását.

A feedback loop ugye azt jelenti, hogy:

• a felhasználói spam jelentések tényét elküldjük a levél küldőjének is
• a küldőnek innentől lehetősége lesz leiratkoztatnia az adatbázisából azokat a felhasználókat, akik spammernek értékelik őt,
• így a küldőnek lehetősége lesz folyamatosan magas reputációt fenntartani, és a levelei meg fognak érkezni az inboxba,
• amelyik küldő figyelmen kívül hagyja majd a feedback loop által küldött felhasználói spamjelentéseket, annak pontosan meg tudjuk majd mondani, hogy miért rossz a reputációja, és hogy tud ezen azonnal javítani.

Ez a szolgáltatásunk úgy gondoljuk megoldás lesz a jelenlegi problémára, miszerint a spamszűrőnk eldob leveleket azért, mert sok felhasználó spamnek ítéli ezeket a leveleket, de jelenleg nem tudunk érdemi segítséget nyújtani a küldőknek az adatbázisuk tisztításában.

Ez nyilván nem jelent megoldást a továbbra is beérkező sok spamre, de ha lesz feedback loop szolgáltatásunk, bátrabban erősíthetünk majd a szűrésünkön is.

Igyekszünk mielőbb publikálni a feedback loop szolgáltatásunkat, az indulásig a türelmeteket kérem (sajnos hónapokról beszélünk, nem hetekről).

tamas.peter@origo.hu

Szívesen bármi konstruktív hozzászólást, ötletet, tanácsot a témában, keressetek bátran.
Előre elnézést kérek, ha nem rögtön válaszolok, de legkésőbb 1-2 nap alatt reagálok minden felé érkező levélre.

Ha találtál valami hasznosat a cikkben, nyomj egy tetszik gombot:

Kérlek írj egy köszönömöt, ha tetszett!

Csatlakozz a beszélgetéshez!

Ezeket már olvastad?