La pregunta más frecuente cuando una organización adopta DevSecOps no es cómo implementarlo: es cómo saber si está funcionando. Después de invertir en herramientas de análisis estático, en integrar escaneos de vulnerabilidades en el pipeline y en capacitar al equipo de desarrollo en prácticas de codificación segura, ¿cómo se demuestra que esa inversión está produciendo resultados?

El problema es que la mayoría de los equipos miden lo que es fácil de contar, no lo que importa. Número de escaneos ejecutados, número de hallazgos reportados, número de herramientas integradas: son métricas de actividad, no de impacto. Pueden mostrar que el proceso existe sin decir nada sobre si está mejorando la postura de seguridad ni reduciendo el riesgo real que llega a producción.

Las métricas correctas de DevSecOps responden una pregunta diferente: ¿cuánto de lo que podría habernos afectado en producción lo detectamos antes, cuánto tardamos en corregirlo, y qué evidencia tenemos de que el proceso funciona bajo la presión de un ciclo de entrega real?

Lo que las métricas tradicionales no capturan

El enfoque convencional de reporte de seguridad cuenta hallazgos: cuántas vulnerabilidades se encontraron, de qué severidad, en cuántas aplicaciones. Eso describe el estado del inventario de deuda de seguridad. No describe el comportamiento del sistema bajo presión de entrega, que es donde se produce o se previene el daño real.

Las métricas de actividad tienen el problema estructural de que pueden mejorar por razones que no mejoran la seguridad real: ejecutar más escaneos sobre código de menor riesgo hace crecer los números de cobertura sin reducir el riesgo en las áreas críticas. Priorizar la corrección de hallazgos de baja severidad hace que el backlog se reduzca en cantidad sin tocar los que más exponen al negocio.

Un programa de DevSecOps maduro necesita métricas que midan los tres resultados que importan al negocio: cuántos problemas de seguridad llegan a producción sin ser detectados antes, cuánto tiempo permanecen expuestos cuando se detectan, y qué capacidad tiene el equipo para responder cuando algo falla.

Las métricas de seguridad que miden impacto real

MTTD: Mean Time to Detect

Mide el tiempo transcurrido desde que se introduce una vulnerabilidad en el código hasta que es detectada por el proceso de testing. En un pipeline DevSecOps, el MTTD debería ser horas o días —el tiempo entre un commit y la ejecución del siguiente ciclo de SAST/DAST—, no semanas o meses, que es lo que produce la detección tardía sin automatización.

El MTTD es el indicador más directo de cuán desplazada hacia la izquierda está la detección de seguridad. Un MTTD que mejora en el tiempo —se acorta— indica que el proceso está encontrando los problemas más cerca del punto donde se introducen, cuando la corrección es más económica y tiene menor impacto en el ciclo de entrega.

MTTR: Mean Time to Remediate

Mide el tiempo desde que se detecta una vulnerabilidad crítica hasta que está corregida, verificada y cerrada. PCI-DSS establece plazos específicos de remediación por nivel de severidad: las vulnerabilidades críticas deben ser remediadas dentro de períodos definidos (verificar los requerimientos vigentes de la versión aplicable). CNBV y los marcos de ciberseguridad para el sector financiero esperan evidencia de que los hallazgos de alta gravedad tienen un proceso de cierre con fecha.

Un MTTR elevado para hallazgos críticos indica uno de tres problemas: el equipo de desarrollo no tiene capacidad para absorber correcciones de seguridad en el sprint, los hallazgos no están llegando al backlog con la prioridad correcta, o el proceso de re-verificación después de la corrección no está integrado en el ciclo.

Defect escape rate de seguridad

Porcentaje de vulnerabilidades que llegaron a producción sin ser detectadas en el pipeline. Es la métrica más directa del impacto de negocio del programa de seguridad: cada vulnerabilidad que escapa al pipeline es una que el regulador, el atacante o el cliente puede encontrar antes que el equipo interno.

Calcular el defect escape rate de seguridad requiere un proceso de identificación de la fuente de cada hallazgo: si se detectó en SAST/DAST antes del release, si se encontró en un pentest post-release, o si fue reportado como incidente desde producción. Esa clasificación, aunque requiere disciplina de registro, es la base de datos más valiosa que un programa de DevSecOps puede construir.

Security gate pass rate

Porcentaje de releases que superan el quality gate de seguridad sin hallazgos críticos en el primer intento. Una tasa baja indica que el código llega al gate con deuda de seguridad que debería haberse detectado más temprano en el ciclo. Una tasa que mejora en el tiempo —más releases pasan el gate limpio desde el primer intento— indica que el shift-left está funcionando: los desarrolladores están escribiendo código más seguro porque el proceso los retroalimenta más temprano.

Critical findings backlog age

Edad promedio de los hallazgos de alta severidad sin corregir. Un hallazgo crítico que lleva más de treinta días abierto en el backlog sin plan de remediación activo no es solo un riesgo técnico: en organizaciones bajo PCI-DSS o supervisión de CNBV, es un incumplimiento en construcción. Esta métrica, combinada con el MTTR, muestra si el problema es de detección (el MTTD es alto) o de priorización y corrección (el MTTD es bajo pero el MTTR es alto y el backlog envejece).

Las métricas de calidad en un pipeline DevSecOps

DevSecOps extiende el modelo de DevOps con seguridad integrada, pero no reemplaza las métricas de calidad. El framework DORA (DevOps Research and Assessment, Google) define cuatro métricas que miden el desempeño del pipeline de entrega y que aplican directamente a la evaluación del impacto de testing:

  • Deployment frequency (frecuencia de despliegue): con qué frecuencia el equipo despliega a producción. En el contexto de DevSecOps, esta métrica se combina con el security gate pass rate: un equipo que despliega diariamente con un gate que bloquea el 40% de los releases tiene un cuello de botella de seguridad que el equipo de desarrollo necesita resolver, no parchear.
  • Lead time for changes (tiempo de entrega de cambios): el tiempo desde que un desarrollador hace un commit hasta que ese cambio está en producción. Incluye el tiempo de ejecución de los quality gates de seguridad. Si los escaneos de SAST/DAST añaden horas al ciclo, eso tiene que estar justificado por el valor que producen. Un pipeline de seguridad que alarga el ciclo sin reducir el defect escape rate es un candidato de optimización.
  • Change failure rate (tasa de fallo de cambios): porcentaje de cambios que causan un incidente, degradación de servicio o rollback en producción. En términos de DevSecOps, esta métrica incluye incidentes causados por vulnerabilidades que escaparon el pipeline. Si una proporción significativa de los change failures tiene origen en un fallo de seguridad, el programa de testing no está cubriendo los vectores de riesgo correctos.
  • Mean time to restore (tiempo medio de restauración): cuánto tarda el equipo en recuperar el servicio normal después de un incidente. Para incidentes de origen de seguridad, este tiempo tiende a ser mayor que para incidentes de calidad convencionales porque la investigación forense, la contención y la evidencia para el regulador añaden pasos al proceso de respuesta.

Las métricas que demuestran valor al negocio

Las métricas técnicas describen el estado del proceso. Las métricas de negocio describen por qué ese proceso merece la inversión. Son las que un Engineering Director necesita para presentar al CFO o al Comité de Riesgos:

  1. Costo de corrección por etapa. Un defecto corregido en la fase de diseño de requerimientos tiene un costo de corrección radicalmente menor que el mismo defecto corregido en producción después de un incidente. Aunque los factores exactos varían por organización, la diferencia de costo entre la detección temprana y la detección tardía es sistemáticamente grande y está documentada en la literatura de ingeniería de software (IBM Systems Sciences Institute; NIST). Cuantificar este diferencial con los datos propios del equipo —horas de ingeniería por defecto según la etapa de detección— produce el argumento económico más sólido para la inversión en DevSecOps.
  2. Reducción de trabajo no planificado por incidentes de seguridad. El trabajo de respuesta a un incidente de seguridad —investigación, contención, parche de emergencia, comunicación con stakeholders, documentación para el regulador— interrumpe el roadmap planificado y consume capacidad de ingeniería que no estaba presupuestada. Medir el porcentaje de trabajo de ingeniería que es reactivo a incidentes de seguridad vs. proactivo muestra directamente si el programa de DevSecOps está reduciendo la interrupción operativa.
  3. Reducción del ciclo de auditoría. En organizaciones bajo PCI-DSS o CNBV, la preparación para una auditoría regulatoria consume semanas de trabajo de equipos técnicos y de compliance. Un programa de DevSecOps con métricas y evidencia bien organizadas reduce ese tiempo significativamente: los hallazgos de SAST/DAST, los registros de quality gates y la trazabilidad de remediación ya están disponibles en formato auditable, no hay que construirlos para la auditoría.

¿Cómo construir un dashboard que cuente la historia correcta?

El error más común en los dashboards de DevSecOps es organizar las métricas por tipo técnico —métricas de SAST en un panel, métricas de DAST en otro, métricas de pipeline en otro— en lugar de organizarlas por la pregunta de negocio que responden.

Para el equipo de ingeniería (operativo): MTTD, MTTR por severidad, security gate pass rate por equipo, critical findings backlog con aging. Son métricas de ciclo corto —diarias o semanales— que permiten al equipo priorizar trabajo de seguridad en el sprint.

Para la dirección de ingeniería (estratégico): defect escape rate de seguridad, trend del MTTR en el tiempo, change failure rate con origen en seguridad, % del pipeline con security gates activos. Son métricas de tendencia —mensuales o trimestrales— que muestran si el programa está mejorando la postura de seguridad del portafolio.

Para el negocio y la dirección (valor): reducción de trabajo no planificado por incidentes, costo evitado estimado por defectos detectados antes de producción, tiempo de preparación de auditoría vs. línea base. Son métricas que conectan la inversión técnica con el resultado de negocio.

Para el regulador (cumplimiento): evidencia de ejecución de controles por ciclo, registro de hallazgos con severidad, fechas de detección, planes de remediación y fechas de cierre, trazabilidad de cambios a controles de acceso y cifrado. Son el conjunto documental que responde la pregunta que hace el auditor: ¿cómo saben que sus sistemas son seguros y qué evidencia tienen de que los controles funcionan?

El caso regulatorio: métricas como evidencia auditable

Para organizaciones en sectores regulados en México, las métricas de DevSecOps no son solo herramientas de gestión: son la materia prima de la evidencia regulatoria.

La CNBV, en sus circulares de ciberseguridad para instituciones financieras, espera que las organizaciones puedan demostrar que tienen controles activos sobre el ciclo de desarrollo de software, que los hallazgos de seguridad se documentan y remedian con el proceso establecido, y que existe evidencia de las validaciones realizadas antes de cada release a producción. Un programa de DevSecOps bien instrumentado produce esa evidencia como subproducto natural del proceso, no como un ejercicio paralelo de preparación para la auditoría.

PCI-DSS establece requerimientos específicos sobre pruebas de seguridad de aplicaciones: análisis de vulnerabilidades regulares, pentesting anual y ante cambios significativos, y revisión de código seguro. Los registros del pipeline de DevSecOps —logs de SAST/DAST, quality gate results, registros de hallazgos y remediaciones— satisfacen directamente varios de esos requerimientos cuando están organizados con la trazabilidad correcta.

La diferencia entre un programa de DevSecOps que produce evidencia auditable y uno que no la produce no es técnica: es de disciplina documental. El proceso puede ser idéntico, pero si los registros no tienen la estructura, la granularidad y la trazabilidad que el auditor necesita, no sirven como evidencia. Ese diseño de evidencia tiene que ser parte del pipeline desde el inicio, no una adición posterior.

Preguntas frecuentes

  • ¿Cuál es la diferencia entre medir DevSecOps y medir DevOps? DevOps se mide fundamentalmente en velocidad y estabilidad del pipeline: cuán frecuente es el despliegue, cuán rápido es el ciclo de cambio, cuán baja es la tasa de fallo. DevSecOps añade una dimensión: cuán efectivo es el proceso para detectar y remediar vulnerabilidades antes de que lleguen a producción. Las métricas de DevOps (framework DORA) son necesarias, pero no suficientes en un contexto de DevSecOps: una tasa de despliegue alta con un defect escape rate de seguridad alto significa velocidad sin control, que es exactamente el escenario que el programa busca prevenir.
  • ¿Con qué frecuencia deberían revisarse las métricas de DevSecOps? Las métricas operativas —MTTD, MTTR, security gate pass rate— deberían revisarse en cada sprint o semanalmente, porque alimentan la priorización del trabajo de seguridad en el ciclo de desarrollo inmediato. Las métricas de tendencia —defect escape rate, change failure rate, reducción de trabajo no planificado— se evalúan mensualmente o trimestralmente para identificar si el programa está mejorando la postura de seguridad en el tiempo. Las métricas regulatorias se consolidan con la periodicidad que establece el marco de cumplimiento aplicable, pero el registro debe ser continuo para que la consolidación sea un ejercicio de organización, no de reconstrucción.
  • ¿Cómo se establece una línea base si el programa de DevSecOps está empezando desde cero? El primer escaneo de SAST/DAST sobre el código existente produce el inventario de vulnerabilidades activas: es la línea base del defect escape rate histórico —todo lo que existía antes del programa— y el punto de partida del critical findings backlog. Desde ese momento, cada release añade datos al MTTD y al MTTR. La línea base no requiere datos históricos perfectos: requiere el compromiso de registrar con disciplina desde el primer día. Tres meses de datos con registro consistente son más útiles que dos años de datos inconsistentes.

¿Tu pipeline de DevSecOps produce métricas que puedes presentar al regulador o al Comité de Riesgos, o solo reportes de actividad?

El Quick Assessment de Seguridad de MTP establece los baseline metrics y el diseño de evidencia auditable en cinco días hábiles. El siguiente ciclo de auditoría llega; la evidencia tiene que estar construida antes, no durante.