Què hem de saber abans de començar?

• Les mètriques d’ús (consultes realitzades, persones actives, freqüència) són les més fàcils d’obtenir, però també les més limitades: molt ús no garanteix que el sistema estigui aportant valor real.
• Les mètriques de fiabilitat mesuren si el que el sistema lliura és correcte: taxa de respostes validades enfront de corregides, queixes o correccions reportades per les persones usuàries, cobertura de temes sense resposta fiable disponible.
• Les mètriques d’impacte són les més difícils d’obtenir però les més valuoses: ha canviat alguna decisió gràcies al coneixement consultat?, s’ha evitat repetir un error ja documentat?, s’ha escurçat el temps d’incorporació d’algú nou?

Això connecta directament amb el que hem vist al Bloc II sobre avaluació de l’impacte de l’aprenentatge (el model de Kirkpatrick invertit, el Value Creation Framework): els mateixos principis de mesurar més enllà de l’activitat s’apliquen també aquí.

Com fer-ho a la pràctica

• No et quedis només amb mètriques d’ús perquè són les més fàcils d’obtenir: complementa-les sempre amb almenys un indicador de fiabilitat i, si és possible, un d’impacte.
• Per mesurar fiabilitat, facilita que les persones usuàries puguin assenyalar fàcilment una resposta incorrecta o poc útil, i fes seguiment d’aquests senyals com una prioritat, no com a soroll de fons.
• Per mesurar impacte, busca proxies raonables quan no hi hagi una mesura directa: per exemple, temps d’incorporació de noves persones, o reducció de preguntes repetides ja respostes al sistema.
• Revisa les mètriques amb la mateixa regularitat amb què revisaries qualsevol altre sistema crític de l’organització, no només quan alguna cosa va visiblement malament.

Errors freqüents i consells

• Reportar només mètriques d’ús perquè són les més fàcils de mostrar, donant una imatge incompleta —de vegades enganyosament positiva— del sistema.
• No fer seguiment real dels senyals de fiabilitat reportats per les persones usuàries, cosa que erosiona la confiança i desincentiva que continuïn reportant-los.
• Renunciar a mesurar impacte per ser difícil, quan fins i tot una aproximació imperfecta aporta més informació que no mesurar res.

Consell: si només pots triar una mètrica de fiabilitat per començar, tria la taxa de correccions reportades per les persones usuàries —és el senyal més directe de si el sistema mereix la seva confiança.

Per seguir llegint

Mesurar bé ús, fiabilitat i impacte ajuda a saber si el sistema funciona. Però també cal anticipar el que pot sortir malament. La següent píndola tracta sobre els riscos d’implantar IA en la gestió del coneixement, i com prevenir-los.

Cas relacionat: El cas d’aquest àmbit mostra com unes mètriques ben triades van ajudar una organització a saber en quin nivell de maduresa estava realment, més enllà de la percepció subjectiva de si «el sistema anava bé».