gildot

Topo
Sobre
FAQ
Tópicos
Autores
Preferências
Artigos
Sondagens
Propor artigo


8/3
gildicas
9/30
jobs
10/9
perguntas
10/25
press

 
Spam: como erradicar?
Contribuído por scorpio em 18-11-03 0:44
do departamento tech-talk
Spam mvitorino escreve " Viva! É escusado dizer que o spam está fora de controle e são precisas tomar medidas urgentes (Alô, ISPs?).
No meu caso, ando a ver se me livro deste incómodo num servidor próprio (qmail). Estive a dar uma volta rápida às alternativas existentes e constatei empiricamente que o único combate eficaz se baseia na conjugação de várias técnicas existentes: regras "bayesians", RBL, blacklist, etc. O problema é que ainda não encontrei nenhum soft para o qmail (c/ vpopmail e usando Maildir) que me satisfazesse que incorpore todas estas técnicas. Os meus testes com spamassassin e outros gerou falsos positivos e/ou falsos negativos.
Help! Qual o soft que os Gildotianos usam e recomendam?

(Nota: programas que requerem confirmação de envio de email está fora de questão. Por enquanto :)

 um abraço, m i g u e l v i t o r i n o
"

ReiserFS | Workshop "Cyberwar-Netwar: Security in the InfoAge"  >

 

gildot Login
Login:

Password:

Referências
  • mvitorino
  • Mais acerca Spam
  • Também por scorpio
  • Esta discussão foi arquivada. Não se pode acrescentar nenhum comentário.
    mozilla (Pontos:1)
    por RaTao em 18-11-03 1:09 GMT (#1)
    (Utilizador Info)
    Eu tenho tido bons resultados com os filtros do mozilla mail & news. É dos "bayesians" e apanha-me uns 300 mails indesejados por dia. (Por acaso ainda há 2 ou 3 meses eram uns 500/dia... Parece que o volume está a descer).

    Quanto aos false-positives: já aconteceu mas eram emails de listas e por isso pouco importantes :)

    Quanto aos false-negatives: uns 10 por dia... BEM BOM! (do meu ponto de vista... YMMV ;)


    Regards,
    Nuno Silva aka RaTao
    Re:mozilla (Pontos:2)
    por joao em 18-11-03 1:57 GMT (#4)
    (Utilizador Info) http://www.nonio.com
    No meu caso, a maior parte dos falsos negativos são mensagens em html que chamam imagens de um servidor remoto. Os filtros bayesianos não funcionam porque praticamente não há texto.

    ----
    joao
    nonio.com - ciência, tecnologia e cultura
    Re:mozilla (Pontos:2)
    por Dehumanizer em 18-11-03 8:40 GMT (#8)
    (Utilizador Info) http://www.dehumanizer.com
    O Spamassassin lida bem com esses, porque esses casos vão cair noutras regras... o bayesian filtering é apenas uma delas.

    Os únicos emails que muito raramente o Spamassassin do meu servidor deixa passar são estes:

    - spams portugueses ou brasileiros (são poucos, mas há - e mesmo assim ele apanha uma boa parte deles)

    - Aqueles spams super-simples que o Paul Graham já previa que fossem o futuro do spam: uma linha de texto (normalmente de aparência inocente) e um link para clickar. Não são sequer html. Apenas algo como:

    Hey, check out this great web site:

    http://blablabla

    Mais nada. Mesmo assim já não vejo um desses na minha inbox há algum tempo... mas cheguei a ver, no início do "treino" do SA.

    "It is every citizen's final duty to go into the tanks and become one with all the people."
    - Chairman Sheng-ji Yang, "Ethics for Tomorrow"
    Artigo do Freshmeat sobre filtros anti-spam (Pontos:1)
    por secameca em 18-11-03 1:40 GMT (#2)
    (Utilizador Info)
    Spam Filters.
    Spamassassin (Pontos:2)
    por [Cliff] em 18-11-03 1:41 GMT (#3)
    (Utilizador Info) http://www.yimports.com
    O spamassasin gerou-te false positives/negatives porque ainda não deve estar treinado o suficiente.
    Vai-lhe dando mais spam e "não spam" para aquilo ir aperfeiçoando. Daqui por umas semanas não queres outra coisa.
    De vez em quando lá passa um email de um amigo para a pasta de spam mas nessa altura meto-o na whitelist.

    ----------
    -1: Redundante!
    Re:Spamassassin (Pontos:2)
    por Dehumanizer em 18-11-03 8:32 GMT (#7)
    (Utilizador Info) http://www.dehumanizer.com

    Exacto, era o que eu ia dizer, mas o [Cliff] antecipou-se. :)

    Olha para o meu:

    -bash-2.05b$ sa-learn --dump magic
    0.000 0 2 0 non-token data: bayes db version
    0.000 0 4563 0 non-token data: nspam
    0.000 0 1367 0 non-token data: nham
    <snip>

    Já aprendeu com 4563 spams e 1367 mails legítimos. Já não vejo um falso positivo há meses (ainda costumo olhar para o folder de spam antes de o limpar, por descargo de consciência). E não, não tem nada a ver com o que ele (Spamassassin) era no início...


    "It is every citizen's final duty to go into the tanks and become one with all the people."
    - Chairman Sheng-ji Yang, "Ethics for Tomorrow"

    Outra vez? (Pontos:2)
    por taf-7arte em 18-11-03 2:02 GMT (#5)
    (Utilizador Info) http://taf.net

    Discussão há dias

    DSPAM (Pontos:1)
    por caxica em 18-11-03 3:03 GMT (#6)
    (Utilizador Info)
    Ca no Burgo usamos DSPAM

    It is Tue Nov 18 10:58:28 2003
    DSPAM has caught 32 spams
    ...learned 25 spams
    ...scanned 1223 innocent emails
    ...with 0 false positives
    Your SPAM Ratio is 2.55%
    Your SPAM Filtering Accuracy is 100% since last reset

    (Acabamos de actualizar o programa, e por isso q o numero de spams esta baixo)

    De vez em quando um falso negativo (2-3 por semana)

    E genial


    alarmes falsos... (Pontos:1)
    por moonrider em 18-11-03 9:52 GMT (#9)
    (Utilizador Info) http://127.0.0.1
    Os meus testes com spamassassin e outros gerou falsos positivos e/ou falsos negativos.

    Se aguardas pelo software perfeito de detecção de spam, espera sentado... eu uso o spamassassin e estou muito satisfeito com o resultado.

    programas que requerem confirmação de envio de email está fora de questão.

    Ironicamente, são os únicos que podem garantir que apenas recebes os email que queres, já que és tu que os escolhes...
    Re:alarmes falsos... (Pontos:1)
    por mvitorino em 18-11-03 13:30 GMT (#15)
    (Utilizador Info)
    Ironicamente, são os únicos que podem garantir que apenas recebes os email que queres, já que és tu que os escolhes...

    Eu sei, mas podem gerar confusões com as mailing lists além do ligeiro incómodo que produz a quem envia um email pela primeira vez. Vou implementar o esquema sse os outros tipos de filtros não produzirem resultados aceitáveis.

    um abraço,

    m i g u e l   v i t o r i n o

    Junk Mail Control Mozilla (Pontos:1)
    por Vampiro em 18-11-03 11:44 GMT (#10)
    (Utilizador Info)
    Eu uso a ferramenta "JUNK" do Mozilla Mail Client, é suberbo, configurável, muito prático, ao fim de algum tempo tenho os meus "junk mails" marcados e sem esforço acabei por irradicar essa praga.
    Eusébio
    Re:Junk Mail Control Mozilla (Pontos:2)
    por ^S^ em 18-11-03 12:34 GMT (#12)
    (Utilizador Info) http://www.zbytes.org/~luis
    Isso acaba por ser um "falso" sistema de combate ao SPAM na medida em que a maior parte do trafego ja' ocorreu la' mesmo onde ele se queria eliminado: no servidor.

    Penso que o pretendido seria uma forma de combate no servidor, dai ele ter mencionado usar o qmail.

    Eu tambem apliquei uma regras elementares/basicas com regular expressions que sao aplicadas no .qmail-default que devem fazer mais ou menos isso que mencionas, mas ja' me poupam ter de ir buscar ao servidor headers ou mensagens que a' partida eram SPAM -- o servidor tratou delas para /dev/null.

    Um abraço.
    ^S^
    TMDA (Pontos:2)
    por jneves em 18-11-03 12:23 GMT (#11)
    (Utilizador Info) http://silvaneves.org/
    Nunca usei, mas uns amigos que usam passaram-me recentemente o link: Tagged Message Delivery Agent.

    Uma forma de erradicar o spam, sem recorrer a sistemas de aprendizagem...

    spam (Pontos:1)
    por nbk em 18-11-03 13:20 GMT (#13)
    (Utilizador Info) http://www.mrnbk.com/
    Boas.

    " Help! Qual o soft que os Gildotianos usam e recomendam?"

    Tecla "delete". Não existem cá "falsos positivos" ou "falso negativos".

    @598, Nbk

    Re:spam (Pontos:2)
    por Dehumanizer em 18-11-03 13:24 GMT (#14)
    (Utilizador Info) http://www.dehumanizer.com
    Se recebesses 100-200 spams por dia, gostava de te ver fazer isso... :)

    E não, mudar de endereço não é opção.


    "It is every citizen's final duty to go into the tanks and become one with all the people."
    - Chairman Sheng-ji Yang, "Ethics for Tomorrow"
    Fim do spam e mais monopolio M$ (Pontos:2)
    por mvalente em 18-11-03 13:31 GMT (#16)
    (Utilizador Info) http://www.ruido-visual.pt/
    Como a M$ vai acabar com o spam mas ganhar mais um monopolio...

    Cumprimentos

    Mario Valente

    PS - Disclaimer: nao estou a apoiar nem a criticar; estou só a constatar.

    Re:Fim do spam e mais monopolio M$ (Pontos:2)
    por Dehumanizer em 18-11-03 13:38 GMT (#17)
    (Utilizador Info) http://www.dehumanizer.com
    Nunca na vida...


    "It is every citizen's final duty to go into the tanks and become one with all the people."
    - Chairman Sheng-ji Yang, "Ethics for Tomorrow"
    Re:Fim do spam e mais monopolio M$ (Pontos:2)
    por Dehumanizer em 18-11-03 13:38 GMT (#18)
    (Utilizador Info) http://www.dehumanizer.com
    Para clarificar: não o disse a ti, mas a eles. Nunca na vida. É, como diz no artigo, entregar o mundo à MS.


    "It is every citizen's final duty to go into the tanks and become one with all the people."
    - Chairman Sheng-ji Yang, "Ethics for Tomorrow"
    Re:Fim do spam e mais monopolio M$ (Pontos:2)
    por higuita em 18-11-03 20:40 GMT (#20)
    (Utilizador Info)
    1º o facto de se ter uma whitelist nao faz com que o resto do email passe a ser rejeitado, logo nao ha' o "incentivo" para mudar como o autor comenta

    2º os openrelays em exchange, os virus e trojan que usam os Pc dos utilizadores para enviar spam, e os proprios spammers dentro de uma empresa ou (deus nos livre) um ISP com exchange iam andar a usar chaves validas, que depois a empresa teria de voltar a comprar pois a anterior iria para a blacklist

    3º chaves falsificadas? caso a M$ confirmasse no servidores a validade das chaves, a M$ iria ganhar poderes de decidir quem envia, o que, e a quem... alem do quase monopolio nos desktops, poderes de bigbrother seria algo perigoso e que poucas empresas gostariam

    4º o spam normal, o actual, poderia continuar a ser aceite, ja' que nao podem dar-se ao luxo de rejeitar o resto da internet e rejeitar os emails validos e importantes mas desconhecidos poderia ser sempre um caso bicudo

    ou seja, duvido que funcione...

    Higuita
    Re:Fim do spam e mais monopolio M$ (Pontos:1)
    por mvitorino em 20-11-03 20:28 GMT (#28)
    (Utilizador Info)
    Viva!

    Pelo menos desta vez estão do lado certo da barricada :)

    um abraço,

    m i g u e l   v i t o r i n o

    postfix e o seu sistema de filtragem (Pontos:5, Informativo)
    por higuita em 18-11-03 20:23 GMT (#19)
    (Utilizador Info)
    eu uso o postfix para smtp, ele vem incluido suporte para rbl e outros varios filtros, nomeadamente from, to, headers (inclusive as MIME), body

    basicamente tenho no inicio a whitelist a permitir os dominios e enderecos que sei que sao OK
    depois tenho uma serie de blacklists (adeus safemode 8)
    de seguida fitro tudo que diga que vem do meu dominio, mas na realidade nao vem de nenhum servidor autorizado para usar o nosso dominio... quem esta' em casa e quer enviar pelo ISP deles um email com o nosso dominio nao pode, tera' de usar o webmail ou (no futuro, ainda nao tive tempo de implementar) autenticar-se no nosso SMTP
    muito spam vem com o nosso dominio (nomeadamente com os emails que constam na pagina de web)
    e claro, tambem rejeito emails de dominios desconhecidos

    depois, usando as capacidades do postfix, um filtro que rejeita emails @hotmail.com que nao venham de servidores autorizados (hotmail.com, e uns servidores que podem fazer relay para nos)
    igualmente para o @yahoo.com e uma lista de centenas de emails gratis
    como para fazer uma regra por email daria trabalho, agupei em 2 sessoes, uma para os hotmail, yahoo, excite, netscape e outros grandes emails gratis e outro com todos os outros emails gratis, mais pequenos, exluindo os portugueses (que nao filtro globalmente, pelo sim, pelo nao, posso sempre depois usar as blacklist)

    isto faz com que um email @hotmail.com possa ser aceite se vier dos servidores do yahoo.com, mas como isso nao e' possivel, estou protegido
    nos servidores pequenos, existe pouco spam e geralmente escolhem emails da 1º lista

    este filtro basicamente apanha ja' muito spam e apenas filtra erradamente quem usa o email hotmail.com sem ser pela hotmail mesmo, ou seja, pelo cliente de email...
    os poucos casos que vi isso acontecer, foram para a whitelist, e normalmente e' pessoal ja' com algum conhecimento para perceber/ler a mensagem de rejeicao
    o filtro e eficas em especial de para emails vindos do brasil, que nao sei porque, insistem em usar o hotmail e variantes do yahoo, para alem de uns servidores de email gratis brasileiros, para enviar o spam

    depois tenho uma lista de varios RBL e RHSBL, incluindo a spamhaus e o spamcop... estes dois apanham-me tambem enormes quantidades de spam
    (muito da telesp.com.br, que infelizmente nao posso filtrar na totalidade por existirem contactos la')

    testei varios rbl e fiquei-me por uma lista de uns tantos que acho que filtram ainda alguma coisa e nao estao a filtrar dominios importantes
    vi alguns rbl que eram bons de mais, filtravam quase o spam todo, mas tambem muitos emails validos... esses podem ser usados em sistemas de classificacoes, nao de rejeicao total como o que o postfix usa

    finalmente, depois de passar estes filtros, passa para os filtros de headers e do body
    aqui, nos headers, filtro os virus (as extensoes perigosas do windows, menos os .doc, .xls e .ppt, mas mesmo assim antivirus nos clientes, nao va' algum virus zippado que nao conste na lista do body_filter)
    tambem filtro os from, to, headers especiais, subject (infelizmente tive de desligar o filtro de binary encoded para o subject, as novas versoes do outlook parece que enviam os acentos assim!! e' pena, era um filtro bastante bom)

    finalmente no bodyfilter, tenho filtros por palavra chave, ou seja, penis, " hot teens", enlarge e afins, tudo com regexp para apanhar os 0 em vez do o. os 1 ou | em vez dos i ou l, etc
    claro que como o html e' muito usado para esconder as palavras, pelo que 3 na mesma linha e' spam, assim como tags de "html" falsas
    (infelizmente tambem nao posso filtrar totalmente o html)
    junta-se a lista umas combinacoes de unsubscribes, "remove me" e afins, e uma data de URL que veem nos spam que passaram os filtros anteriores e temos um filtro tambem bem eficas

    este e' tambem o filtro mais perigoso que tenho, ainda recentemente foi filtrado um email que tinha
    ..."the pen is a very importante"...
    ou seja, apanhou o filtro do "penis" e la' tive de adicionar a exclusao do bodyfilter (que infelizmente tambem apenas funciona por linha, nao para toda a mensagem) o caso do " pen is "

    o resultado final e' que filtro 98% do spam globalmente para toda a empresa e com um indice baixo de erros

    mas como pode acontecer erros (nomeadamente a netcabo e a telepac estao sempre a aparecer nas rbl e como e' logico, nao quero colocar-las na whitelist) tenho casos de rejeicoes erradas, pelo que fiz um script que ve durante a madrugada, para cada utilizador, os emails que foram rejeitados e faz uma lista dos emails, de onde vieram, a razao do bloquear e o numero de tentativas
    todos os dias, o pessoal que teve emails rejeitados recebe o email e deve verificar se houve algum email erradamente rejeitado e avisar-me de forma a eu corrigir o problema
    de igual forma, quando recebem spam devem redireciona-lo para mim para eu o poder filtrar

    o resultado e' que recebo 2 spams por semana, usualmente spam de html codificado em base64, que infelizmente ainda nao achei forma de criar uma regra para os filtrar e que logicamente, o body filter nao consegue apanhar...

    talvez quando um dia instalar um filtro externo do postfix resolva este problema, mas para ja' estou contente, e o meu chefe tambem, ele recebia uns 60 a 80 spam por dia, com varios picos de uns 200 spams, hoje recebe menos de meia duzia por semana

    problemas, e' preciso manter o sistema, a' preciso adicionar o novo spam, whitelist os novos emails (idealmente um sistema de syncronizacao dos addressbooks com a lista do servidor), receber os relatorios para verificar se existem emails erradamente rejeitados

    outro problema e' que os emails rejeitados (tirando os do header filter e do body filter) sao devolvidos directamente ao servidor que os entregou e logo os spammers sabem que estamos a rejeitar o spam deles...

    consequencias, hoje em dia recebemos varios "bounces attacks", basicamente enviam spam com o nosso dominio e nos recebemos todos os bounces dos emails nao validos... felizmente nunca acertaram em nenhum email valido nosso no from e logo sao todos rejeitados como "user unknown", mas consome banda e cpu (incrivelmente muito menos do que eu alguma ves pensei, como e' rejeitado antes de entregar o email, apenas os comandos de smtp entram e logo apenas consome uns 2-3K/s)...

    pior e' que tenho todos os dias entre 60 a 200 ligacoes simultaneas para entregar email, mas mesmo a nossa linha de 128KB safa-se bem, nao vejo demoras em entregar ou receber o email normal de fora nem de dentro. ontem rejeitei quase 27mil emails, uns 26mil sao os "bounce attack"

    o pior problema acaba por ser mesmo encher-me os logs... 180Mb gzippados no log do mes de outrubro, quando o normal era uns 4Mb por mes

    para acabar este grande email (e' o que da' ir escrevendo ao longo de varias horas 8), se alguem usar postfix e quiser as configuracoes que tenho, estou disposto a coloca-las na web

    Higuita
    Re:postfix e o seu sistema de filtragem (Pontos:2)
    por higuita em 18-11-03 20:41 GMT (#21)
    (Utilizador Info)
    raios, isto ainda ficou maior do que eu pensava!!

    desculpem la'!! 8)

    ps: faltou tambem dizer isto... o postmaster aceita sempre qualquer dominio, caso alguem se queira queixar de uma rejeicao invalida

    Higuita
    Re:postfix e o seu sistema de filtragem (Pontos:2)
    por higuita em 19-11-03 22:36 GMT (#25)
    (Utilizador Info)
    e reparei que na parte dos html me esqueci que html e' filtrado e logo os exemplos desapareceram e ficou um pouco radicao de mais (3 htmls e e' spam!! 8)

    basicamente referia-me aos comentarios e pseudo-comentarios de html, 3 na mesma linha e e- spam

    assim esta' melhor :)

    Higuita
    não são fiáveis (Pontos:2)
    por freax em 19-11-03 0:59 GMT (#22)
    (Utilizador Info)
    Boas !

    Tenho vários domínios num servidor com qmail e deparei-me com este problema.

    Cheguei a encontrar pelo menos 2 soluções, mas correria sempre o risco de marcar uma mensagem como junk.

    Isto é válido para uma conta pessoal, mas o caso torna-se mais grave no caso de empresas onde a maior parte dos emails recebidos são importantes.
    Os métodos existentes até hoje inviabilizam completamente a integração de um sistema destes nos domínios das empresas !

    Portanto não cheguei a instalar e n o faço enquanto não houver um sistema 100% fiável. Posso esperar sentado :)
    Re:não são fiáveis (Pontos:2)
    por Dehumanizer em 19-11-03 15:51 GMT (#24)
    (Utilizador Info) http://www.dehumanizer.com
    Estes programas não têm necessariamente de apagar o mail detectado como spam, podem simplesmente movê-lo automaticamente para um folder.


    "It is every citizen's final duty to go into the tanks and become one with all the people."
    - Chairman Sheng-ji Yang, "Ethics for Tomorrow"
    Re:não são fiáveis (Pontos:1)
    por mvitorino em 20-11-03 11:12 GMT (#27)
    (Utilizador Info)
    Viva!

    Como o Dehumanizer disse, não é necessário apagar as mensagem logo.
    Improvisei um automatismo que me permite facilmente receber as mensagens marcadas como falso positivo. Exemplo:
    "----
    From: "MR.MATTHEW OKAFOR." <matthewokafor200@netscape.net>
    Subject: very urgent
    Bytes: 4250
    To Bail out: thisisnospam-1069301103.22018@xxxxxxxx.com
    ----
    You have 3 days to bail out these 51 messages or they will be eliminated."

    Este relatório é enviado todos os dias. Ou seja, no pior dos casos, o email pode demorar 24 horas a chegar se for incorrectamente identificado como spam.

    um abraço,

    m i g u e l   v i t o r i n o

    Spam até no Gildot :-( (Pontos:1)
    por mvitorino em 19-11-03 14:00 GMT (#23)
    (Utilizador Info)
    Viva!

    Mesmo a propósito: o email que usei para fazer este post, e que nunca tinha sido usado duma forma pública, apanhou hoje com o primeiro spam duma firma brasileira que me quer "oferecer dinheiro". ARGH!

    um abraço,

    m i g u e l   v i t o r i n o

    Re:Spam até no Gildot :-( (Pontos:1)
    por Perky_Goth em 19-11-03 23:02 GMT (#26)
    (Utilizador Info)
    lol.
    há bots em todo o lado, trengo ;)

    just to say goodluck...
    --- Insert lame .sig
    nao só por mail (Pontos:1)
    por Dante em 20-11-03 21:43 GMT (#29)
    (Utilizador Info)
    ainda hoje recebi uma mensagem (enviada por broadcast) via o serviço de mensagens do messenger a oferecer-me produtos para emagrecer... ora como nem sou muito gordo, dei-lhe uns toques para o telemóvel e esperei que ele liga-se. depois foi cair em cima dele.. se alguem receber esta mensagem faça o mesmo, para ver se ele aprende !

     

     

    [ Topo | FAQ | Editores | Contacto ]