Il blackout di Workday nasce da un suo test di backup, dipendenti senza timbrature

Workday, il software che molte grandi aziende utilizzano per gestire le buste paga, registrare entrate e uscite e richiedere ferie, è diventato irraggiungibile per i clienti dopo che un test del suo sistema di backup d’emergenza è andato storto. Durante la verifica dei sistemi di ripristino dopo un disastro, l’azienda ha scoperto che i servizi di backup si erano collegati inaspettatamente ai database operativi utilizzati dai clienti, lasciando i dati in uno stato incoerente. Workday ha messo offline i sistemi interessati per ripararli.

Per i dipendenti, il disservizio si è tradotto in una pagina di accesso con il messaggio «Workday non è attualmente disponibile». Il personale delle aziende coinvolte non poteva timbrare l’entrata o l’uscita, consultare le informazioni sulla retribuzione, chiedere ferie o completare l’iscrizione ai benefit; inoltre, le attività programmate che alimentano altri sistemi aziendali rischiavano di non andare a buon fine. A mandare in tilt il servizio è stato proprio il meccanismo di sicurezza progettato per mantenerlo attivo in caso di disastro.

La portata del problema spiega perché le conseguenze vadano ben oltre i reparti delle risorse umane. Workday afferma che oltre 11.500 organizzazioni utilizzano il suo software; tra i clienti citati pubblicamente figurano Walmart, Target, Netflix, Chipotle, Southwest Airlines, il Dipartimento dell’Energia degli Stati Uniti e il Jet Propulsion Laboratory della NASA. L’azienda non ha precisato quante siano state coinvolte, limitandosi a parlare di «alcuni dei nostri clienti»: i post diventati virali che danno per fuori uso tutte queste aziende vanno quindi oltre quanto è stato confermato. I servizi di monitoraggio dei disservizi hanno registrato segnalazioni dagli Stati Uniti e dall’India, secondo UC Today.

La spiegazione fornita da Workday, pubblicata sulla pagina di stato riservata ai clienti e citata dal team IT della Washington University, è insolitamente schietta. «Durante la verifica della finestra di manutenzione settimanale per i tenant di Disaster Recovery, abbiamo rilevato che i servizi dei tenant nel sito DR si erano collegati inaspettatamente ai database di Produzione», si legge nell’avviso. Il testo aggiunge che i dati erano rimasti «in uno stato incoerente», con il rischio di generare errori all’apertura degli account o di impedire il completamento delle attività. Workday ha quindi messo in manutenzione tutti gli ambienti di produzione del gruppo di clienti che chiama WD1, promettendo aggiornamenti ogni 30 minuti.

La spiegazione lascia aperta la domanda più importante. Una copia di ripristino esiste proprio per impedire che un problema in un sito si propaghi all’altro; in questo caso, invece, il test ha raggiunto i sistemi reali. Workday non ha chiarito come fosse possibile quel collegamento né se siano andati persi dei dati, anziché essersi semplicemente disallineati. Anche le comunicazioni dell’azienda hanno suscitato critiche. Gli amministratori dei forum sysadmin e Workday di Reddit hanno affermato che il problema era iniziato diverse ore prima del primo avviso ai clienti, una sequenza temporale che Workday non ha confermato. In un’email ai clienti condivisa sul forum, l’azienda ammetteva inoltre di non avere una stima dei tempi di ripristino e invitava le imprese con scadenze urgenti a ricorrere ai propri piani di continuità operativa.

Per i dipendenti, i disagi concreti dipendono dal momento in cui si è verificato il problema. Le ore dei lavoratori pagati a ore che non sono riusciti a timbrare dovranno essere corrette manualmente, mentre chi era alle prese con una scadenza per l’iscrizione ai benefit si è trovato la porta chiusa. Alcuni datori di lavoro hanno modificato le scadenze: l’Emerson College ha dichiarato di aver prorogato il periodo di iscrizione aperta a causa del disservizio. L’incidente è arrivato inoltre al termine di una settimana difficile per i software aziendali, dopo che un guasto a Microsoft 365 aveva reso inaffidabili Outlook e la posta elettronica di Exchange fino al secondo giorno.

La cronologia finora ricostruita: l’Emerson College ha dichiarato che Workday ha messo il sistema offline intorno alle 17:15, ora della costa orientale, di venerdì 13 novembre; LiveNOW from FOX ha riferito che Downdetector aveva registrato quasi 3.000 segnalazioni di problemi poco dopo le 17. Un portavoce di Workday ha dichiarato che l’azienda stava «lavorando con urgenza per indagare e risolvere il problema» e si è scusato con i clienti coinvolti. Sabato mattina Workday ha comunicato ai clienti che la reindicizzazione e la riattivazione dei loro ambienti avrebbero dovuto concludersi per la maggior parte di loro entro le 11, ora della costa orientale, di sabato 14 novembre; per alcuni i tempi sarebbero stati più lunghi, e sarebbero stati contattati tramite una richiesta di assistenza. La proroga concessa dall’Emerson College sposta ora la scadenza per l’iscrizione a mezzogiorno, ora della costa orientale, di lunedì 16 novembre.

Il ritorno del servizio non basterà a rispondere alla domanda più difficile che i datori di lavoro stanno ponendo al loro fornitore. Vorranno sapere perché un test pensato per dimostrare che Workday può superare un disastro avesse accesso proprio ai dati che avrebbe dovuto proteggere.

Tag: buste paga, disaster recovery, guasti informatici, servizi cloud, software HR, Workday