Cloudflare ha confirmado que la interrupción masiva del servicio ocurrida ayer no fue causada por un incidente de seguridad y que no se perdieron datos.

El problema se ha mitigado en gran medida. Comenzó a las 17:52 UTC de ayer, cuando el sistema Workers KV (Clave-Valor) se desconectó por completo, lo que provocó pérdidas generalizadas de servicio en múltiples servicios de computación en el borde e IA.

Workers KV es un almacén de clave-valor consistente y distribuido globalmente que utiliza Cloudflare Workers, la plataforma informática sin servidor de la compañía. Es un componente fundamental de muchos servicios de Cloudflare y un fallo puede causar problemas en cascada en muchos componentes.

La interrupción también afectó a otros servicios utilizados por millones de personas, en particular Google Cloud Platform.

En una autopsia, Cloudflare explica que la interrupción duró casi 2,5 horas y que la causa raíz fue una falla en la infraestructura de almacenamiento subyacente de Workers KV debido a una interrupción de un proveedor de nube externo.

?La causa de esta interrupción se debió a una falla en la infraestructura de almacenamiento subyacente utilizada por nuestro servicio Workers KV, que es una dependencia crítica para muchos productos de Cloudflare y del que se depende para la configuración, la autenticación y la entrega de activos en los servicios afectados?,  afirma Cloudflare.

Parte de esta infraestructura está respaldada por un proveedor de nube externo, que sufrió una interrupción hoy y afectó directamente la disponibilidad de nuestro servicio KV.

Cloudflare ha determinado el impacto del incidente en cada servicio:

• Trabajadores KV : experimentaron una tasa de falla del 90,22 % debido a la falta de disponibilidad del almacenamiento del backend, lo que afectó todas las lecturas y escrituras no almacenadas en caché.
• Access, WARP, Gateway : todos sufrieron fallas críticas en la autenticación basada en identidad, el manejo de sesiones y la aplicación de políticas debido a la dependencia de Workers KV, con WARP incapaz de registrar nuevos dispositivos y la interrupción del proxy de Gateway y las consultas DoH.
• Panel de control, torniquete, desafíos : se experimentaron fallas generalizadas en el inicio de sesión y la verificación de CAPTCHA, con riesgo de reutilización de tokens introducido debido a la activación del interruptor de seguridad en el torniquete.
• Aislamiento del navegador y representación del navegador : no se pudo iniciar ni mantener sesiones basadas en enlaces ni tareas de representación del navegador debido a fallas en cascada en Access y Gateway.
• Transmisión, imágenes, páginas : se experimentaron fallas funcionales importantes: la reproducción de transmisiones y la transmisión en vivo fallaron, las cargas de imágenes cayeron al 0 % de éxito y la creación y el servicio de páginas alcanzaron un pico de aproximadamente el 100 % de fallas.
• Trabajadores AI y AutoRAG no estaban disponibles en absoluto debido a la dependencia de KV para las funciones de configuración, enrutamiento e indexación del modelo.
• Objetos duraderos, D1, colas : los servicios creados en la misma capa de almacenamiento que KV sufrieron tasas de error de hasta un 22 % o falta de disponibilidad total para las colas de mensajes y las operaciones de datos.
• Puerta de enlace de IA y en tiempo real : se enfrentó una interrupción casi total del servicio debido a la imposibilidad de recuperar la configuración de Workers KV, lo que afectó gravemente las solicitudes de Puerta de enlace de IA y TURN/SFU en tiempo real.
• Activos de Zaraz y trabajadores : se observó una falla total o parcial al cargar o actualizar configuraciones y activos estáticos, aunque el impacto en el usuario final fue de alcance limitado.
• CDN, trabajadores para plataformas, compilaciones de trabajadores  : se experimentó un aumento de latencia y errores regionales en algunas ubicaciones, y las nuevas compilaciones de trabajadores fallaron al 100 % durante el incidente.

En respuesta a esta interrupción, Cloudflare dice que acelerará varios cambios centrados en la resiliencia, eliminando principalmente la dependencia de un único proveedor de nube de terceros para el almacenamiento de backend de Workers KV.

Gradualmente, el almacén central de KV se migrará al almacenamiento de objetos R2 de Cloudflare para reducir la dependencia externa.

Cloudflare también planea implementar protecciones entre servicios y desarrollar nuevas herramientas para restaurar gradualmente los servicios durante cortes de almacenamiento, previniendo picos de tráfico que podrían saturar los sistemas en recuperación y causar fallas secundarias.

Fuente: Bleepingcomputer