EMAIL NOTIFICHE DAL FORUM (Non ricevi le email? Leggi qui)
Inviato: 3 gen 2021, 15:08
Ciao a tutti.
Nelle ultime settimane diversi utenti del forum mi hanno segnalato un problema ricorrente: mancata ricezione delle email dal forum (nessuna email ricevuta, nemmeno nello spam).
Ciò costituisce (anzi, costituiva, confidando che ora la situazione confido sia migliorata) un problema serio soprattutto nelle situazioni in cui è indispensabile poter ricevere email dal forum ovvero nelle procedure di registrazione (email di validazione), cambio indirizzo email (email di validazione nuovo indirizzo), reset password (email contenente la password ri-generata).
Nei giorni scorsi ho investigato a fondo le cause e agito per rimuovere o bypassarle (per chi avesse la curiosità, vedasi le note tecniche a piè del post).
Ora la situazione dovrebbe essere risolta e rientrata nella normalità.
Questo post è quindi per aggiornavi e chiedervi di segnalarmi (postando in questo thread) eventuali nuove anomalie relative alla ricezione email di notifica.
NOTA: raccomando di NON scrivere nei post il proprio indirizzo email (tanto non occorre, lo vedo nel profilo utente) ciò per evitare che l'indirizzo venga fagocitato nei soliti bot e vi ritroviate nelle solite liste di newsletter pubblicitarie indesiderate o peggio...
Cortesemente chiedo di attenesi a questo tema (ricezione email dal forum) non altri, per altre problematiche prego contattarmi via mp o via email (nel caso in cui un utente sia impossibilitato ad accedere può inviare email a admin(chiocciola)caraudioforum(punto)it (lo scrivo in questo modo per evitare i soliti bot). In ogni caso per problematiche di accesso resta sempre valido quanto scritto qui: viewtopic.php?t=13791
NOTE TECNICHE (3/1/2021) (posso essere utili eventualmente a chi, con dominio email sul Aruba, riscontra problemi analoghi): Il nostro forum risiede in hosting presso il provider Aruba (il principale in Italia e tra i primi in Europa come numero di clienti), su un webserver condiviso (pur con processi separati, con tutte le migliori pratiche per la sicurezza dei dati). L'invio delle email avviene attraverso il servizio smtp, Aruba, gestito da un cluster di numerosi server (con decine di migliaia di domini ospitati ovviamente il volume di traffico è elevato).
Da una analisi a campione, relativamente alle email inviate dal forum e classificate come spam, ho riscontrato che nel 100% dei casi, nell'header, era riportato il fallimento della verifica SPF (https://it.wikipedia.org/wiki/Sender_Policy_Framework). Aruba da tempo, nella configurazione dns di tutti i domini in hosting, inserito record txt, per la verifica spf appunto, con elencante tutte le subnet IP relative ai server smtp utilizzati ma... (e qui stava il problema) una di queste subnet, presumo per un errore di digitazione o per mancato aggiornamento nel tempo, non è correttamente dichiarata ovvero diversi server smtp non sono compresi e quindi, nel caso in cui (e capita spesso) vengano inviate email attraverso quei server ecco che, lato server smtp ricevente, la verifica spf fallisce e ne consegue che l'email viene classificata come spam o, peggio, viene rifiutata dal server ricevente (e quindi il destinatario finale non la riceverà mai).
Ho quindi testato una prima soluzione: avendo accesso alla configurazione dns del nostro dominio caraudioforum.it ho modificato il record txt relativo all'spf, aggiungendo la subnet dichiarandola in modo corretto (nello specifico la subnet è: 62.149.158.0/24 che erroneamente è dichiarata 62.149.158.0/26 nel record spf predefinito su Aruba). Così facendo, ho verificato, si azzerano i casi di verifica fallita spf.
C'è però da dire che, pur essendo tecnicamente corretto il problema, gli effetti delle mancate ricezioni persistevano, in particolare per le email verso destinatari @libero.it (un provider che, memore di clamorosi casi del passato applica da diverso tempo politiche particolarmente stringenti riguardo i filtri anti-spam). Pur non avendo modo di verificarlo, presumo ciò sia dovuto al fatto che gli indirizzi ip dei server smtp Aruba su cui, per diverso tempo, fallivano le verifiche spf, sono finiti un una blacklist interna applicata da libero.it
La cosa sembrava senza soluzioni (a parte segnalare il tutto ad Aruba che a sua volta deve contattare libero.it per ripulire la blacklist, se la mia deduzione è corretta) ma, cercando una via alternativa, ho poi scoperto, facendo ulteriori test, che le email inviate tramite account su client smtp, con autenticazione quindi, invece che con il sistema canonico del webserver (per i webserver su Aruba è possibile inviare email direttamente, tramite servizio locale del server stesso) vengono instradate in uscita su un differente cluster di server, con differente subnet ip quindi, e quest'ultima pare "pulita" ed infatti (ho effettuato decine di prove) vengono ricevute senza problemi! Eureka!
Ma... visto che ci sono (cavolo, qui il post va per le lunghe..), al fine di migliore ulteriormente il tasso di ricezione "buona" (ovvero abbassare il tasso delle email contrassegnate come spam, che per definizione è ben difficile azzerare, e chi si occupa di questi temi lo sa bene) ho affrontato anche un altro aspetto ovvero la verifica DKIM (https://it.wikipedia.org/wiki/DomainKey ... ified_Mail).
Da qualche tempo infatti, su tutti i server smtp Aruba è implementata la firma digitale DKIM, associata al dominio aruba.it.
Ciò in linea generale è una buona cosa ma... purtroppo attualmente (speriamo in futuro la cosa si evolva) non è gestita la possibilità di aggiungere firma DKIM anche per domini ulteriori (ovvero appunto i domini di clienti Aruba che ne facessero richiesta) vedi qui: (https://guide.hosting.aruba.it/email/si ... -mail.aspx). Il risultato è che inviando email con indirizzo mittente su dominio differente rispetto ad aruba.it (caraudioforum.it nel nostro caso) ecco che inevitabilmente risulta disallineata la verifica della firma digitale (anche se in modo parziale, passando la verifica relativa al nome host del server mittente che appunto è su dominio aruba.it).
Su questo aspetto ci sono due possibili soluzioni: dotarsi di un proprio server smtp in modo da poter configurare autonomamente la generazione della firma DKIM calzante con il proprio dominio (beh, se le donazioni alla cassa comune del forum lo consentiranno non è detto che non sia possibile farlo in futuro) oppure impostare sulle email di notifica indirizzo mittente dominio aruba.it
Ho adottato quest'ultima soluzione infatti, e da ieri le notifiche vengono inviate con mittente notifica(punto)caraudioforum(chiocciola)aruba(punto)it (che è un indirizzo FITTIZIO ovvero non configurato per ricevere email, d'altronde è solo per le notifiche, e nel testo di tutte le email è sempre specificato "NON RISPONDERE A QUESTA EMAIL, INDIRIZZO NON ABILITATO ALLA RICEZIONE").
Bene, ora le email di notifica superano entrambe le verifiche SPF e DKIM e partono da server smtp attualmente (incrocio le dita!) presumibilmente non in black list.
Spero che, per un pò almeno, la situazione fili liscia.
Nelle ultime settimane diversi utenti del forum mi hanno segnalato un problema ricorrente: mancata ricezione delle email dal forum (nessuna email ricevuta, nemmeno nello spam).
Ciò costituisce (anzi, costituiva, confidando che ora la situazione confido sia migliorata) un problema serio soprattutto nelle situazioni in cui è indispensabile poter ricevere email dal forum ovvero nelle procedure di registrazione (email di validazione), cambio indirizzo email (email di validazione nuovo indirizzo), reset password (email contenente la password ri-generata).
Nei giorni scorsi ho investigato a fondo le cause e agito per rimuovere o bypassarle (per chi avesse la curiosità, vedasi le note tecniche a piè del post).
Ora la situazione dovrebbe essere risolta e rientrata nella normalità.
Questo post è quindi per aggiornavi e chiedervi di segnalarmi (postando in questo thread) eventuali nuove anomalie relative alla ricezione email di notifica.
NOTA: raccomando di NON scrivere nei post il proprio indirizzo email (tanto non occorre, lo vedo nel profilo utente) ciò per evitare che l'indirizzo venga fagocitato nei soliti bot e vi ritroviate nelle solite liste di newsletter pubblicitarie indesiderate o peggio...
Cortesemente chiedo di attenesi a questo tema (ricezione email dal forum) non altri, per altre problematiche prego contattarmi via mp o via email (nel caso in cui un utente sia impossibilitato ad accedere può inviare email a admin(chiocciola)caraudioforum(punto)it (lo scrivo in questo modo per evitare i soliti bot). In ogni caso per problematiche di accesso resta sempre valido quanto scritto qui: viewtopic.php?t=13791
NOTE TECNICHE (3/1/2021) (posso essere utili eventualmente a chi, con dominio email sul Aruba, riscontra problemi analoghi): Il nostro forum risiede in hosting presso il provider Aruba (il principale in Italia e tra i primi in Europa come numero di clienti), su un webserver condiviso (pur con processi separati, con tutte le migliori pratiche per la sicurezza dei dati). L'invio delle email avviene attraverso il servizio smtp, Aruba, gestito da un cluster di numerosi server (con decine di migliaia di domini ospitati ovviamente il volume di traffico è elevato).
Da una analisi a campione, relativamente alle email inviate dal forum e classificate come spam, ho riscontrato che nel 100% dei casi, nell'header, era riportato il fallimento della verifica SPF (https://it.wikipedia.org/wiki/Sender_Policy_Framework). Aruba da tempo, nella configurazione dns di tutti i domini in hosting, inserito record txt, per la verifica spf appunto, con elencante tutte le subnet IP relative ai server smtp utilizzati ma... (e qui stava il problema) una di queste subnet, presumo per un errore di digitazione o per mancato aggiornamento nel tempo, non è correttamente dichiarata ovvero diversi server smtp non sono compresi e quindi, nel caso in cui (e capita spesso) vengano inviate email attraverso quei server ecco che, lato server smtp ricevente, la verifica spf fallisce e ne consegue che l'email viene classificata come spam o, peggio, viene rifiutata dal server ricevente (e quindi il destinatario finale non la riceverà mai).
Ho quindi testato una prima soluzione: avendo accesso alla configurazione dns del nostro dominio caraudioforum.it ho modificato il record txt relativo all'spf, aggiungendo la subnet dichiarandola in modo corretto (nello specifico la subnet è: 62.149.158.0/24 che erroneamente è dichiarata 62.149.158.0/26 nel record spf predefinito su Aruba). Così facendo, ho verificato, si azzerano i casi di verifica fallita spf.
C'è però da dire che, pur essendo tecnicamente corretto il problema, gli effetti delle mancate ricezioni persistevano, in particolare per le email verso destinatari @libero.it (un provider che, memore di clamorosi casi del passato applica da diverso tempo politiche particolarmente stringenti riguardo i filtri anti-spam). Pur non avendo modo di verificarlo, presumo ciò sia dovuto al fatto che gli indirizzi ip dei server smtp Aruba su cui, per diverso tempo, fallivano le verifiche spf, sono finiti un una blacklist interna applicata da libero.it
La cosa sembrava senza soluzioni (a parte segnalare il tutto ad Aruba che a sua volta deve contattare libero.it per ripulire la blacklist, se la mia deduzione è corretta) ma, cercando una via alternativa, ho poi scoperto, facendo ulteriori test, che le email inviate tramite account su client smtp, con autenticazione quindi, invece che con il sistema canonico del webserver (per i webserver su Aruba è possibile inviare email direttamente, tramite servizio locale del server stesso) vengono instradate in uscita su un differente cluster di server, con differente subnet ip quindi, e quest'ultima pare "pulita" ed infatti (ho effettuato decine di prove) vengono ricevute senza problemi! Eureka!
Ma... visto che ci sono (cavolo, qui il post va per le lunghe..), al fine di migliore ulteriormente il tasso di ricezione "buona" (ovvero abbassare il tasso delle email contrassegnate come spam, che per definizione è ben difficile azzerare, e chi si occupa di questi temi lo sa bene) ho affrontato anche un altro aspetto ovvero la verifica DKIM (https://it.wikipedia.org/wiki/DomainKey ... ified_Mail).
Da qualche tempo infatti, su tutti i server smtp Aruba è implementata la firma digitale DKIM, associata al dominio aruba.it.
Ciò in linea generale è una buona cosa ma... purtroppo attualmente (speriamo in futuro la cosa si evolva) non è gestita la possibilità di aggiungere firma DKIM anche per domini ulteriori (ovvero appunto i domini di clienti Aruba che ne facessero richiesta) vedi qui: (https://guide.hosting.aruba.it/email/si ... -mail.aspx). Il risultato è che inviando email con indirizzo mittente su dominio differente rispetto ad aruba.it (caraudioforum.it nel nostro caso) ecco che inevitabilmente risulta disallineata la verifica della firma digitale (anche se in modo parziale, passando la verifica relativa al nome host del server mittente che appunto è su dominio aruba.it).
Su questo aspetto ci sono due possibili soluzioni: dotarsi di un proprio server smtp in modo da poter configurare autonomamente la generazione della firma DKIM calzante con il proprio dominio (beh, se le donazioni alla cassa comune del forum lo consentiranno non è detto che non sia possibile farlo in futuro) oppure impostare sulle email di notifica indirizzo mittente dominio aruba.it
Ho adottato quest'ultima soluzione infatti, e da ieri le notifiche vengono inviate con mittente notifica(punto)caraudioforum(chiocciola)aruba(punto)it (che è un indirizzo FITTIZIO ovvero non configurato per ricevere email, d'altronde è solo per le notifiche, e nel testo di tutte le email è sempre specificato "NON RISPONDERE A QUESTA EMAIL, INDIRIZZO NON ABILITATO ALLA RICEZIONE").
Bene, ora le email di notifica superano entrambe le verifiche SPF e DKIM e partono da server smtp attualmente (incrocio le dita!) presumibilmente non in black list.
Spero che, per un pò almeno, la situazione fili liscia.