La inutilidad de las encuestas de satisfacción en cursos de formación

En este artículo comparto contigo algunas ideas sobre cómo podemos realizar mejores encuestas de satisfacción que realmente nos aporten información útil y nos sirvan para mejorar los cursos y sesiones de formación que hacemos.

Hace mucho tiempo en una formación muy, muy lejana…

No sé si como participante habrás vivido una experiencia similar en algún curso o sesión de formación a la que hayas asistido. Cuando el curso casi ya ha finalizado y la mayoría de la gente está recogiendo sus cosas para marchar, de repente el formador dice: «¡Esperad! ¡Una cosa más! Por favor, rellenad antes de marcharos estos formularios para recoger vuestra opinión sobre el curso. Son 5 minutos.»

Piensas «venga, un último esfuerzo».

Ves que entre las opciones para responder a cada pregunta del formulario puedes elegir un número en una escala del 1 al 5 en la que 5 es «Totalmente de acuerdo», 4 es «De acuerdo», 3 «Ni de acuerdo ni en desacuerdo», 2 «En desacuerdo», y 1 «Totalmente en desacuerdo».

Y al leer las preguntas, todas son afirmaciones del estilo:

• Los contenidos desarrollados durante la actividad formativa han resultado útiles y se han adaptado a mis expectativas.
• Voy a poder aplicar los conocimientos adquiridos en mi práctica profesional.
• La tipología de la acción formativa (curso, taller, webinar, etc.) ha sido adecuada para conseguir los objetivos.
• La modalidad (presencial, elearning, mixta, etc.) ha facilitado el aprendizaje de los contenidos.
• Los métodos didácticos empleados por el formador/a han sido adecuados para el correcto desarrollo del curso.

(Preguntas extraidas de esta encuesta de satisfacción modelo)

Si has vivido esta experiencia, te parece algo normal y no te llama nada la atención, te invito a seguir leyendo. Me gustaría ir viendo contigo qué podríamos hacer para mejorarla.

Cada cosa a su tiempo.

Algo en lo que se falla habitualmente es en no dejar el tiempo necesario para completar las encuestas de evaluación del curso. Si de verdad creemos como formadores que las opiniones de los participantes son importantes porque nos ayudan a aprender y mejorar, entonces hay que demostrarlo.

Y aquí demostrarlo significa controlar bien los tiempos, el orden en la agenda del día y gestionar la energía del grupo, para facilitar el momento y la disposición adecuada para que los participantes puedan responder a las preguntas sin prisas ni agobios. Incluso puedes ambientar con un poco de música para crear un mejor ambiente de reflexión.

Una vez que todos los participantes han respondido las encuestas de evaluación, puedes dar la oportunidad a los que quieran de compartir sus opiniones en el grupo. Hablando pueden salir puntos interesantes que quizá no habían quedado reflejados en los cuestionarios.

Otra recomendación aparentemente obvia es que la despedida se debe realizar al final del todo, no antes de rellenar las encuestas. Hay muchos participantes que en cuanto oyen «bueno, pues ha sido un placer teneros aquí…» ya están saliendo por la puerta con el abrigo puesto. ¡Y es normal! Hay vida más allá de tu fabuloso curso de formación y la gente tiene familia, amigos, mascotas,… e internet.
No hay nada peor que los asistentes piensen que ya has terminado y de repente, ¡sorpresa! ¡los malditos cuestionarios de evaluación! Posiblemente muchos lo rellenarán casi sin leer y con prisas.

Los dichosos numeritos.

Nos gustan tanto los números que no podemos resistirnos a poner una escala que diga «puntúe del 1 al 10 este curso». Y nos gustan porque son datos que podemos manejar y comparar fácilmente. Y por supuesto, también nos permiten decir con orgullo: «¡Mis cursos son los mejores!. Siempre obtengo puntuaciones por encima del 9 en las encuestas de satisfacción de mis clientes».

Imagina que quisieras alquilar tu piso en vacaciones para obtener un dinero extra mientras estás fuera. Invitas a un amigo para que lo visite. Imagina que le pides que lo puntué del 1 al 10 en general, y si quieres, cada estancia también. Dependiendo de sus gustos, criterio y lo que considere importante en una vivienda o no, te dará una puntuación. Imagina que una vez que ha terminado de escribir sus puntuaciones se va sin más.

Muy posiblemente ese cuestionario no te ayudará en nada a mejorar tu casa con vistas a posibles visitantes. Es necesario traducir esos números en opiniones. Lo mismo sucede con las encuestas de evaluación de un curso.

Sorprendentemente, a veces se cruzan en mi camino, cuestionarios de satisfacción únicamente con preguntas a las que responder con escalas numéricas. Dependiendo del momento en que me lleguen, suele venir a mi cabeza uno de estos dos pensamientos:

1. ¡Los organizadores de este curso deben ser unos genios! ¡Simplemente con los números ya pueden suponer qué es lo que necesitan mejorar en sus cursos! Tengo que conocerles para que me expliquen qué misteriosa técnica utilizan.
2. A los organizadores de este curso solo les interesan los números para poder hacer bonitos informes con gráficas de colores que enseñar en la web o a los jefes.

Algunos incluso van más allá y «por no molestar» o «para que la gente pueda contestar rápidamente» eliminan las pocas preguntas abiertas (las de escribir) que pudiera haber, dejando solo las respuestas numéricas.

Al final esto es como cuando nos daban las calificaciones en el colegio. Seguimos más preocupados por saber si hemos aprobado o no (de la nota) que por aprender realmente sobre lo que hemos fallado y cómo podemos mejorar la próxima vez.

Basura IN, basura OUT

Salvo que trabajes en una planta de reciclaje, generalmente si alimentas un sistema con basura, estarás produciendo más basura a la salida. Y es tan obvio que no hay ninguna charla TED (todavía) que pueda compartir contigo.

Con esto no me refiero a que la opinión de los participantes no sea relevante, útil o necesaria. Me refiero a que si preguntas mal, vas a obtener malas respuestas. Y si obtienes malas respuestas, difícilmente vas a poder aprender o hacer algo útil con ellas.

Y entonces, ¿qué preguntas podemos hacer? 

Influyendo en las respuestas.

Un problema de utilizar escalas del tipo «Totalmente deacuerdo» a «Totalmente en desacuerdo» es que hay que plantear las preguntas como afirmaciones o suposiciones (ejemplo: «Pienso que este curso ha sido maravilloso»).

Hay quién opina que con este formato ayudamos al encuestado a responder fácilmente como si lo pensara/dijera en primera persona. Sin embargo, personalmente me parece que tal afirmación condiciona en parte la respuesta y limita las opciones de expresión del participante. Posiblemente una frase incompleta del tipo «Pienso que este curso ha sido _______» daría información mucho más clarificadora que «Pienso que este curso ha sido maravilloso (Totalmente en desacuerdo)».

Pero me gustan los números.

Si te gustan los números no hay problema, déjalos ahí. Únicamente añade un espacio debajo de cada pregunta y una indicación más en el texto de explicación sobre cómo completar el formulario diciendo: «Por favor, agradecemos que para cada respuesta puntuada por debajo de 10, nos indique qué podríamos haber hecho en ese aspecto para alcanzar la máxima puntuación» o simplemente «Por favor, justifique con una frase la puntuación de cada respuesta». Así al menos, sabrás sobre que aspectos concretos debes trabajar para mejorar tu curso.

Lo bueno, si breve, dos veces bueno.

Sin embargo, la aproximación anterior puede hacer que si tenías muchos aspectos a puntuar (más de 10), el cuestionario requiera demasiado tiempo para ser completado. Por eso, te recomendaría reducirlo a la mínima expresión. Plantéate cuál es la información clave que realmente quieres obtener.

En general, cualquier feedback ya sea sobre personas o en este caso, sobre una actividad formativa, busca resaltar los aspectos clave a mantener, incorporar, modificar y omitir. Esto es a lo que Miguel Angel Romero de Formacionparaformadores.com llamaba dar feedback con M.I.M.O. en esta entrevista que le hice para el podcast de Learning Legendario.

Así, simplemente con estas preguntas podrías tener un buen punto de partida:

• ¿Qué ha sido lo mejor del curso?
• ¿Qué has echado en falta?
• ¿Qué cambiarías o harías diferente para mejorar este curso?
• ¿Qué quitarías?
• Si tuvieras que recomendar este curso a un compañero ¿qué le dirías?

Al ser preguntas abiertas, el participante puede responder con lo que realmente le interese resaltar del curso ya sean los contenidos, el formador, las instalaciones en las que se ha desarrollado el curso, los materiales de apoyo, la logística, o lo que desee.

Es posible (y bastante probable) que para un mismo curso encuentres opiniones contrarias sobre un mismo tema. Nunca llueve a gusto de todos. Cada participante es único y tiene sus propios intereses más allá de los objetivos del curso. Aquí tendrás que ser tú quien decida que opinión tienes que priorizar a la hora de que tu público objetivo (en este caso el perfil del participante o destinatario de la formación) obtenga el mayor beneficio.

Confundir la parte por el todo.

Las encuestas de satisfacción (bien hechas) son útiles, pero solo para valorar eso, la satisfacción. El problema surge cuando intentamos justificar la eficacia de un curso o de una acción formativa únicamente con los datos que ofrecen estos cuestionarios.

Como aquel que dice «en mis cursos los participantes aprenden muchísimo porque siempre obtengo puntuaciones en las encuestas de 9 sobre 10». Te aseguro que si pones amacas de playa en la sala y ofreces mojitos gratis a los asistentes muy posiblemente también obtengas una puntuación muy alta.

Sin embargo, evaluar cuál es el aprendizaje real de los participantes, y cuánto van a poder aplicar e integrar en sus puestos de trabajo, es algo mucho más complejo.

Y es tan complejo que los expertos en el mundo de la formación siguen dándole vueltas al tema. En este sentido, Donald Kirkpatrick, estableció un modelo de 4 niveles para medir el impacto de las acciones formativas. Aunque hablaremos de este modelo en futuros artículos básicamente describía estos 4 niveles a considerar en la evaluación de una actividad formativa:

• Nivel 1 Reacción. Mide cuál ha sido la respuesta de los participantes, su impresión, ante la acción formativa realizada. Aquí es donde entrarían las encuestas de satisfacción.
• Nivel 2 Aprendizaje. Mide cuáles han sido las habilidades, conocimientos o actitudes aprendidas. Uno o dos meses después del curso, se puede medir poniendo a prueba al participante para comprobar lo que ha aprendido. Necesitarás una evaluación previa, anterior al curso, para poder determinar cuál ha sido el grado de mejora.
• Nivel 3 Comportamiento. Mide la aplicación real o la transferencia práctica de esas habilidades, conocimientos o actitudes aprendidas al puesto de trabajo habitual del participante. Pasados varios meses desde que se realizó el curso, mediante el uso de encuestas y entrevistas a compañeros, clientes, managers, se podría determinar si realmente los participantes han mejorado su comportamiento, integrando lo aprendido.
• Nivel 4 Resultados. Mide el impacto de la acción formativa en el negocio. Es lo que a todo el mundo le gustaría poder medir y sin embargo, muy pocos consiguen.

Si te interesan estos temas te recomiendo leer Evaluating Training Programs: The Four Levels.

Posteriormente, otros expertos como Jack Phillips, añadían más niveles de evaluación.

• Nivel 5 ROI. Este quinto nivel sería el retorno de la inversión o ROI (Return of Investment). Este ROI es el ratio entre el beneficio económico obtenido con la acción formativa y el coste de la misma. El ROI permite comparar actividades formativas y ver cuáles son más productivas.
• Nivel 6 Intangibles y derivados. Y por último, Phillips añadía un sexto nivel que incluiría los beneficios intangibles o derivados de haber conseguido los objetivos propuestos con la acción formativa. Por ejemplo, que un vendedor desarrolle sus habilidades de venta, además de conseguir incrementar los ingresos de la empresa, posiblemente haga que este vendedor tenga una mayor autoestima y mayor motivación.

Si quieres explorar estos temas, puedes leer su libro How to Measure Training Results: A Practical Guide to Tracking the Six Key Indicators.

Para terminar.

Estas son algunas recomendaciones adicionales para mejorar tus encuestas de satisfacción.

• No preguntes cosas que sean difíciles de valorar por los participantes como «¿Cuánto crees que has mejorado en tu habilidad para…?» Posiblemente te sea más útil recibir información sobre aspectos que los participantes puedan responder con más precisión.
• No hay un número mágico sobre el máximo número de preguntas que se deben incluir. Cada formación es única y puede requerir evaluar aspectos distintos. Te animo a que partas de un mínimo, y hagas pequeños experimentos añadiendo preguntas en los nuevos cursos. Si ves que las respuestas te aportan información útil con la que mejorar tus cursos, perfecto. Si no, descarta esa pregunta.
• Plantéate volver a enviar la encuesta a algunos de los participantes una vez pasado algún tiempo en sus puestos de trabajo. Podrás valorar mejor si realmente ha habido algún aprendizaje y alguna incorporación práctica de las habilidades, conocimientos o actitudes trabajadas en la formación.
• Si el curso se ha prolongado durante varios días y/o han participado distintos formadores en cada sesión, puedes incluir en la encuesta de satisfacción alguna información sobre cada sesión que recuerde al participante el nombre del ponente, el tema de la misma e incluso alguna mención sobre los contenidos tratados. Si no, puede que el participante no recuerde con suficiente claridad cada sesión como para dar una opinión valiosa.
• Si estás haciendo una formación para una empresa, además de trabajar con tu cliente (managers de los empleados, recursos humanos,etc. ) sobre los objetivos de la formación y los resultados esperados, es interesante valorar qué respuestas harían que el curso fuera considerado como exitoso desde el punto de vista de la satisfacción de los participantes.
  Es decir, pensar en qué tipo de respuestas se querrían obtener para cada una de las respuestas en la evaluación del curso. Por ejemplo, en un curso sobre ventas, éxito (en la satisfacción) sería que un porcentaje determinado de los asistentes contestaran a la pregunta «¿Qué ha sido lo mejor del curso?» con algo del estilo «ahora dispongo de una nueva herramienta para…».
• Para terminar un truco ninja. Si lo que te preocupa es perder tiempo pasando a mano las respuestas de todas las encuestas, crea un formulario en Google Forms (completamente graaaatis), y pide a los participantes que contesten directamente desde tu terminal móvil. Obtendrás en una hoja de cálculo, exportable a Excel u otra aplicación, todos las respuestas perfectamente organizadas y sobre las que luego puedes hacer búsquedas.

Y lo más importante, siempre que plantees un cuestionario de satisfacción pregúntate primero cuáles son tus objetivos. El deseo de mejorar las experiencias de aprendizaje de los participantes debería estar siempre presente.

Y tú, ¿cómo evalúas tus formaciones, cursos o talleres?