Facebook Ufficiale: Il 4 Ottobre i server sono andati in protezione per un errore di manutenzione

Facebook ha rilasciato un comunicato ufficiale nel quale spiega cosa è veramente accaduto il 4 Ottobre quando tutti  i suoi servizi sono andati down in tutto il mondo. La spiegazione ufficiale imputa il blocco ad un sistema di auto-protezione dei server , una sorta di simulazione di attacco che gli stessi server hanno creduto reale.

Dal comunicato: Nell’ampio lavoro quotidiano di manutenzione delle infrastrutture server, i nostri ingegneri hanno spesso bisogno di mettere parte della dorsale offline per la manutenzione, ad esempio riparando una linea in fibra, aggiungendo più capacità o aggiornando il software sul router stesso.

Questa è stato il problema dell’interruzione. Durante uno di questi lavori di manutenzione ordinaria, è stato emesso un comando con l’intenzione di valutare la disponibilità della capacità del backbone globale, che ha involontariamente interrotto tutte le connessioni nella nostra rete backbone, disconnettendo di fatto i data center di Facebook a livello globale. I nostri sistemi sono progettati per controllare comandi come questi per prevenire errori come questo, ma un bug in quello strumento di controllo ha impedito di interrompere correttamente il comando.

Janardhan ha spiegato che i server DNS hanno disabilitato gli instradamenti BGP e, il sistema ha reagito come se si stesse verificando una minaccia e ha ritirato gli annunci BGP. Il risultato finale è stato che i server DNS sono diventati irraggiungibili anche se erano ancora operativi; ecco perché anche il resto di internet non è più riuscita a trovare i DNS di Facebook.