IT is part of the business

Existe un mantra que resuena con fuerza: «Lo que no se mide, no se puede mejorar». Esta frase, atribuida a Peter Drucker, uno de los padres de la gestión empresarial moderna, encierra una verdad fundamental que sigue siendo relevante a día de hoy. Por otro lado, la medición por sí sola no es suficiente; es importante entender cómo medir, qué medir y, sobre todo, cómo interpretar y actuar sobre esos datos medidos, de lo contrario podemos incluso obtener un resultado contrario al buscado.

Claro está que no podemos decir que medir sea malo, pero si podemos decir que puede ser un arma de doble filo. La implementación de métricas y KPIs se ha convertido en una práctica estándar en casi todas las organizaciones. Desde startups hasta multinacionales consolidadas, la recopilación y análisis de datos es una actividad constante. No obstante, es fundamental reconocer que la medición, mal aplicada, puede ser contraproducente.

El peligro de las métricas mal enfocadas

Cuando las métricas se convierten en el fin en lugar del medio, se corre el riesgo de caer en lo que se conoce como la «Ley de Goodhart«: «Cuando una medida se convierte en un objetivo, deja de ser una buena medida». Este fenómeno se observa cuando los equipos comienzan a «jugar con el sistema», ajustando sus comportamientos no para mejorar el sistema, sino para mejorar los números; para salir bien en la foto. Un ejemplo claro lo tenemos en los tiempos de resolución de incidentes. Si un equipo de atención al cliente se mide solo por la rapidez en la resolución de tickets, podría llevar a soluciones superficiales que no abordan los problemas de raíz. Esto hará que la calidad del servicio caiga, aunque los números salgan bien. Del mismo modo, si un equipo de desarrollo de software se evalúa únicamente por la cantidad de líneas de código producidas, es probable que se genere código innecesariamente complejo o redundante

La transparencia como pilar fundamental

Una de las claves para evitar estos problemas es la transparencia. Las métricas y los resultados deben ser visibles para todos los miembros de la organización. Esta visibilidad cumple varios propósitos:

• Alineación de objetivos: Cuando todos pueden ver hacia dónde se dirige la empresa, es más fácil alinear los esfuerzos individuales con los objetivos generales. Para esto es clave que la propia empresa sepa donde quiere ir, que no siempre se da el caso.
• Fomento de la colaboración: La transparencia permite que diferentes equipos identifiquen áreas de sinergia y oportunidades de colaboración. Algo que es muy útil es tener medidas que impacten a dos o más equipos, así la colaboración será más fluida.
• Accountability: La visibilidad de los resultados fomenta un sentido de responsabilidad compartida y motivación para mejorar. Los equipos deben ser conscientes de que su trabajo se ve reflejado en ciertas métricas.
• Detección temprana de problemas: Cuando los datos están a la vista de todos, es más probable que se identifiquen tendencias preocupantes o áreas de mejora antes de que se conviertan en problemas mayores.

Recuerdo haber leído sobre un caso en los Países Bajos donde analizaban el consumo eléctrico de una urbanización de casas, todas ellas iguales. Durante el análisis pudieron ver que los consumos se podían agrupar claramente en dos bloques, los que más consumían y los que menos consumían. Un análisis más profundo llevó a la conclusión. La diferencia entre los dos grupos no era que tuvieran más o menos hijos o personas en la casa, era algo más simple. Hemos dicho que todas las casas eran iguales, pero no lo eran. Un grupo de casas tenía el contador de la luz en el sótano y otro lo tenía en el recibidor de la entrada. El primer grupo era el que más gastaba. El segundo grupo, al tener el contador a la vista, era más consciente del gasto y reducían el consumo.

Medir lo que realmente importa

El verdadero arte de la medición está en identificar qué métricas son realmente significativas para el éxito de la organización. Esto requiere un enfoque holístico que considere no solo los resultados finales, sino también los procesos y las actividades que conducen a esos resultados.
En este sentido, podemos encontrar necesaria la combinación entre las métricas de proceso (que miden cómo se hacen las cosas) y las métricas de resultado (que miden qué se logra). Por ejemplo, si pensamos en el desarrollo de software, además de medir la cantidad de características entregadas (resultado), es importante medir la calidad del código, la satisfacción del usuario y la velocidad de iteración (proceso). De lo contrario podemos tener resultados contraproducentes en el futuro. Supongamos que nos centramos solo en el número de características entregadas. Al principio puede ir muy bien, pero si no tenemos en cuenta la calidad del código, éste se irá deteriorando y cada vez será más difícil entregar nuevas características, pero para entonces, será muy difícil revertir las consecuencias de haber realizado características sin la calidad necesaria. El KPI que pensábamos que ayudaba, al final se ha convertido en el problema.

Se dice que «hecha la ley, hecha la trampa». Si las mediciones se realizan para comprobar que se cumpla una norma, hay que ser también muy cuidadosos en como realizarla. Un ejemplo claro son las velocidades. En España la velocidad máxima por autopistas es de 120 km/h. La realidad es que se va a mucha más velocidad y se reduce al pasar por los controles, por los radares. Así, puede parecer que todo es correcto (la medición sale como se espera), pero fuera de la medición ocurre algo distinto. La realidad se escapa de la medición.

Métricas cuantitativas

A la hora de realizar métricas basadas en valores cuantificados, podemos adoptar enfoques diferentes. Dos de los dos frameworks más utilizados para establecer objetivos, definir métricas pertinentes y medir los avances hacia esos objetivos son el GSM (Goal, Signal, Metric) y el GQM (Goal Question Metric).

Goal, Signal, Metric (GSM)

1. Goal: Definir un objetivo específico, mensurable, alcanzable, pertinente y de duración determinada (SMART).
2. Signal: Identificar indicadores que señalen el progreso hacia el objetivo. Puede ser información sobre las actividades o los resultados.
3. Metric: Establecer métricas cuantitativas para medir las señales, garantizando la disponibilidad y fiabilidad de los datos.

Goal Question Metric (GQM)

1. Goal: Definir un objetivo específico, mensurable, alcanzable, pertinente y de duración determinada (SMART).
2. Question: Formular preguntas cuyas respuestas indiquen si se está logrando el objetivo buscado. Estas preguntas deben ser específicas, medibles y relevantes.
3. Metric: Desarrollar métricas cuantitativas para responder a las preguntas, garantizando la disponibilidad y fiabilidad de los datos.

Aunque ambos enfoques comparten similitudes, el GQM es más completo y se aplica más ampliamente. El GSM se centra en señales y métricas, y puede utilizarse como un enfoque simplificado y más táctico. Por otro lado, el GQM incorpora preguntas para garantizar un enfoque más exhaustivo siendo más indicado para un marco más estratégico.

Métricas cualitativas

No todo lo que es importante puede ser cuantificado fácilmente. Aspectos como la satisfacción del empleado, la cultura organizacional o la innovación son importantes y deben ser tenidas en cuenta, pero difíciles de medir con números. Es aquí donde las métricas cualitativas, como encuestas de satisfacción, sesiones de retroalimentación y estudios de caso, juegan un papel vital.
En general, podemos decir que mientras que las métricas cuantitativas proporcionan datos numéricos concretos, las cualitativas ofrecen insights más profundos sobre percepciones, experiencias y satisfacción.

Por ejemplo, si queremos conocer qué tal encajan los proyectos y servicios de TI para apoyar las metas estratégicas de la empresa, podemos medirlo mediante sesiones trimestrales con líderes de negocio. Usando una escala de «Totalmente alineado» a «No alineado» y documentando ejemplos específicos de cómo TI está impactando positiva o negativamente en las metas de negocio podría ayudarnos.

Sistema de medición efectivo

Existen varios aspectos a tener en cuenta para tener un sistema de medición efectivo y usable en el corto y largo plazo, algunos de ellos son:

• Cada métrica debe tener una conexión clara con los objetivos estratégicos de la organización, bien directa o indirectamente.
• Buscar un balance entre métricas a corto y largo plazo, así como entre indicadores financieros y no financieros.
• Los números por sí solos no cuentan toda la historia. Es crucial proporcionar contexto y análisis junto con los datos.
• Las métricas deben ser revisadas regularmente para asegurar que siguen siendo relevantes y no están generando comportamientos no deseados.
• Las métricas deben ser un punto de partida para conversaciones constructivas, no un juicio final.
• Hacer transparente por qué se realiza esta métrica, cuál es su objetivo, así como cada cuanto se calcula y su método de cálculo y aplicación.
• Automatizar al máximo todo el proceso de recolección de datos y elaboración y presentación de KPI. Evitaremos errores humanos y tareas tediosas.
• Ser constantes en el cálculo y análisis de los indicadores.
• No hacer trampas al solitario. Si una medición no es como se espera, analizar la causa de por qué es así. No tratar de engañar al sistema o simplemente no hacerle caso.
• Hacer públicas las mediciones y resultados. Que todos sean conscientes de ello. Recordad el caso de los contadores de luz de los Países Bajos. Por mucho que se mida, si no se ven las métricas, no se es consciente de ellas.

El objetivo de medir no es simplemente recopilar datos o cumplir con objetivos arbitrarios. El propósito debe ser fomentar la mejora continua, adaptación y el conocimiento de lo que sucede.
No solo se debe medir para validar lo que ya se sabe, sino también para descubrir nuevas oportunidades, identificar áreas de mejora y, en última instancia, impulsar el crecimiento.
Sin embargo, nunca debemos olvidar que detrás de cada número, cada gráfico y cada KPI, hay procesos, decisiones y sobre todo personas, que dan vida a esos datos. Un libro muy interesante sobre esta materia es «Measure what matters» de John Doerr.