L’avaluació de l’impacte de l’aprenentatge

Les organitzacions inverteixen temps i diners en la millora i desenvolupament de les competències dels seus equips. Per a qualsevol gestor és important determinar quins són els resultats assolits. Algunes de les preguntes que cal plantejar-se són: Han aprés alguna cosa que puguin aplicar? Han millorat les seves competències? Desenvoluparan les seves funcions amb més eficiència i qualitat?

Són poques les organitzacions que disposen d’un sistema consolidat d’indicadors per mesurar l’impacte real de l’aprenentatge. La majoria centren els seus esforços en la quantificació del volum d’activitats realitzades, el nombre de participants o el total d’hores impartides.

En aquest article, proposem transcendir aquestes mètriques per explorar alternatives metodològiques que permetin avaluar l’impacte directe de les activitats i les dinàmiques d’aprenentatge sobre el grau d’acompliment dels equips.

En què ens basem

Per redactar aquest article hem tingut en compte dues bases metodològiques de referència:

1. L’enfocament del «Value Creation Framework», una evolució metodològica liderada per Wim Hulsebosch que integra i sintetitza les teories fonamentals d’Etienne Wenger, Beverly Trayner i Maarten de Laat sobre comunitats de pràctica i aprenentatge social per mesurar la generació de valor.
2. L’aplicació del model de Donald Kirkpatrick en la seva versió invertida, que actualment esdevé el sistema més estès i reconegut per avaluar l’impacte real de la formació, prioritzant els resultats abans que el disseny instruccional.

La nostra proposta

L’aprenentatge s’ha d’entendre com una eina estratègica per impulsar el canvi dins les organitzacions. El primer pas de qualsevol procés d’avaluació consisteix a definir clarament el propòsit del canvi: què volem transformar i quins resultats concrets esperem obtenir?

A continuació us proposem un seguit etapes i reflexions per implantar un model per l’avaluació de l’impacte de l’aprenentatge.

1.  Definir els objectius d’impacte

Què volem aconseguir, què volem canviar?

L’aprenentatge és una eina per impulsar el canvi a les organitzacions.

El primer que ens hem de preguntar és “què volem canviar”. Què volem que passi, què és el que cal millorar?

Aquesta situació desitjada ve definida pels «objectius d’impacte», els quals s’han de descriure concretant uns resultats específics, mesurables, assolibles, rellevants per a l’equip i vinculats a un període de temps determinat (mètode SMART).

Una definició rigorosa dels “objectius d’impacte” facilitarà la identificació posterior d’indicadors d’impacte coherents.

Per assolir aquests resultats, és probable que calgui millorar els recursos i les competències que els determinen; identificant i aplicant aquestes millores, incrementarem substancialment la probabilitat d’èxit. 

2.  Definir els objectius d’aprenentatge

Què han de saber fer les persones?

En aquesta etapa, cal definir la relació entre els resultats desitjats i les competències necessàries per assolir-los. Hem d’identificar quines habilitats i coneixements concrets han d’adquirir les persones per poder actuar de manera diferencial. Aquestes respostes constitueixen els nostres «objectius d’aprenentatge»: “Han de saber fer … per aconseguir …”

D’acord amb aquest enfocament, altres preguntes clau que ens podem plantejar per adaptar el model són:

• Quin és el grau de competència requerit: expert, solvent, competent o novell?
• Quines són les alternatives més eficaces per fomentar l’aprenentatge en aquests context específic?
• Quines persones posseeixen actualment aquest coneixement? Estan dins o fora de l’organització?

Les respostes a aquestes preguntes:

1. Ens permetran definir els “objectius d’aprenentatge”,
2. ens donaran pistes per escollir els tipus d’activitats i espais d’aprenentatge idonis i
3. per identificar els perfils que actuïn com a catalitzadors del procés.

3.  Definir l’ecosistema d’aprenentatge.

Quines són les millors combinacions de dinàmiques i espais d’aprenentatge?

L’aprenentatge efectiu es produeix mitjançant una combinació equilibrada de tres tipus de dinàmiques que ens permetran definir el nostre “ecosistema d’aprenentatge”:

Les dinàmiques d’acció i activitat: “Learning by doing”

Aquest tipus d’aprenentatge és molt eficaç perquè integra tots els sentits i, a l’hora, les emocions. La pràctica implica l’experimentació i l’assaig-error en un entorn segur (com les simulacions). És especialment útil quan tens la necessitat real d’aplicar el coneixement de manera immediata.

Els processos interns de reflexió

Consisteixen a analitzar el propi procés d’aprenentatge per identificar noves connexions, idees i les causes dels resultats obtinguts. Aquesta introspecció conscient és el que permet transformar la informació en coneixement profund i transferible.

Les dinàmiques socials i relacionals

Aprenem imitant, contrastant i validant de forma col·lectiva. Algunes alternatives poden ser els debats oberts adequadament dirigits que permetin avaluar i contrastar idees, deixar-se guiar per persones expertes o demanar la opinió i valoració de les persones de l’entorn proper. 

Cada situació, cada objectiu d’aprenentatge, cada equip i cada persona requerirà d’una combinació particular que caldrà definir en funció de les prioritats establertes i dels recursos disponibles.

Creant l’ecosistema d’aprenentatge: Escollim les dinàmiques i espais més adients

Perquè aquests processos tinguin lloc, calen «espais de no-producció». A entorns dominats per la immediatesa i l’eficiència a curt termini, l’aprenentatge sovint queda relegat. 

Més enllà de la “formació tradicional” existeixen diferents espais i dinàmiques per fomentar aquest aprenentatge. Cal garantir que es dedica el temps necessari perquè la informació s’assenti, es connecti i es consolidi. Cal que estiguin orientades a l’assoliment dels objectius d’aprenentatge establerts. Cal que tinguin el suport de la direcció, que estiguin integrades en els processos operatius (cal evitar la percepció de que són un afegit que no aporta valor) i que estiguin facilitades per experts.

Existeix un gran nombre processos per recopilar el coneixement i espais per fomentar l’intercanvi d’experiències. Cal conèixer la seva utilitat, la seva operativa, les seves limitacions i escollir la millor combinació en funció dels objectius d’aprenentatge i dels recursos disponibles.

4.  Promoure la transferència. 

Cap a l’aprenentatge real: Com fomentar la transferència del coneixement?

L’aprenentatge només es pot considerar real quan les persones i els equips transfereixen els coneixements i les experiències a les seves funcions i tasques, quan canvien la seva forma de treballar. Sinó hi ha transferència real i duradora, no hi ha aprenentatge.

Per garantir-ho és indispensable el compromís dels comandaments i de la direcció que han de:

• Habilitar i respectar aquests “espais de no-producció”.
• Facilitar l’acompanyament necessari durant la fase crítica d’aplicació pràctica.
• Fomentar una cultura on l’error es gestioni com un actiu de millora.
• Acompanyar en l’avaluació per a l’optimització del rendiment.

Així mateix, es requereix un pla per la transferència dels coneixements i habilitats a desenvolupar. Aquest pla ha de donar resposta a:

• Canvis operatius: Què canviarem de la forma de treballar?
• Estratègia de comunicació: Com comunicarem i introduirem els canvis?
• Suport en el procés de canvi: De quina documentació disposarem i quines persones ens acompanyaran en el procés de canvi?
• Cronograma d’execució: Quin termini ens donem?
• Matriu de responsabilitats: Qui vetllarà de l’execució del pla i les seves activitats?

5.  Avaluar l’impacte de la transferència

Quin impacte real ha tingut l’aplicació d’allò que hem aprés?

Cal disposar d’informació sobre els resultats assolits. 

Us proposem tres nivells d’avaluació:

1. Reacció: Avalua el grau de satisfacció. Cal que les activitats que conformen l’ecosistema d’aprenentatge siguin ben valorades per garantir el compromís i la recurrència dels participants. És necessària una reflexió sobre els components que determinen la satisfacció i recollir la informació al respecte.
2. Aprenentatge i canvis en la forma de treballar: Mesura el grau de transferència. Sense transferència no hi haurà impacte. Cal definir els nivells de transferència possibles per disposar d’informació objectiva sobre, “en quina mesura” s’han aplicat les competències i coneixements adquirits.
3. Impacte sobre els resultats: Determina com l’aprenentatge ha millorat els valors dels indicadors escollits. Indicadors que han d’estar directament relacionats amb la resposta a la primera pregunta que ens hem plantejat: “Què volem aconseguir?” Caldrà avaluar en quina mesura l’ecosistema d’aprenentatge definit i la transferència dels coneixements aplicats han determinat canvis (millores) en els resultats assolits. En aquest estadi es recomana treballar o bé amb la metodologia de la línia base (quins eren els resultats abans?) o amb grups pilot i contrastar els resultats assolits amb grups de control.

6.  Millorar l’ecosistema d’aprenentatge

Què hem aprés durant el procés? Què canviarem i què deixarem igual?

L’avaluació no és un esdeveniment aïllat, sinó un mecanisme de retroalimentació per optimitzar l’ecosistema d’aprenentatge a través de tres eixos:

• Optimització del plantejament pedagògic: L’anàlisi de la satisfacció permet ajustar la combinació de dinàmiques, d’espais d’aprenentatge, l’estil de la dinamització i l’adequació dels recursos de suport.
• Millora de la transferència: Identificar els facilitadors i obstacles del canvi operatiu permet ajustar les iteracions del projecte per augmentar l’efectivitat de l’aplicació pràctica en el dia a dia.
• Avaluació dels resultats assolits: La identificació de l’impacte que el nou coneixement adquirit i la seva transferència ha tingut sobre els resultats del grup pilot o en comparació als resultats “abans” (línia base) ens permetrà l’establiment d’objectius d’impacte més realistes per a  futures iteracions i disposar una primera ràtio d’eficiència que permeti comparar els recursos abocats i els resultats assolits.

Conclusió

La premissa «el que es pot mesurar es pot gestionar» subratlla la importància de les dades en la presa de decisions estratègiques. No obstant això, en la gestió del coneixement, hem de ser conscients que no tot el que genera valor és fàcilment quantificable, però sempre és imperatiu trobar evidències de la seva evolució.

Cal evitar que les mètriques es converteixin en l’únic objectiu; si el cost d’obtenir una dada exacta supera el benefici del canvi, hem d’optar per indicadors més àgils i pragmàtics. Impulsar una autèntica cultura de l’aprenentatge requereix visió a llarg termini, una planificació rigorosa i, per damunt de tot, el compromís ferm de l’equip, que actuarà com el factor determinant per transformar el coneixement en resultats tangibles i sostenibles.

Algunes preguntes per acabar:

• Què esteu fent en temes relacionats amb l’avaluació de l’impacte de la transferència de coneixements?
• Quins són els processos per recopilar el coneixement i els espais per fomentar l’intercanvi d’experiències que feu servir a la vostra organització?
• Els indicadors que feu servir us faciliten informació rellevant per prendre decisions sobre el disseny de l’ecosistema d’aprenentatge?
• Vols portar el model a la pràctica?

Ho comentem quan vulguis a info@neos.cat