Antes del verano publicábamos tres artículos, el marco de Brennan-Resnick I. Conceptos, el marco de Brennan- Resnick II. Prácticas y el marco de Brennan – Resnick III. Perspectivas, en los que se establecía el marco referencial para el Pensamiento Computacional y Un currículum de programación creativa para incorporar el pensamiento computacional en tu aula. Cerramos esta serie con este artículo en el que os presentamos unas estrategias para la evaluación desarrolladas por Karen Brennan y Mitchel Resnick en su artículo “Nuevas propuestas para evaluar el Pensamiento Computacional” (2012) En este artículo, los autores estudian tres posibles enfoques para la evaluación de proyectos creados en Scratch, ofreciendo ventajas y limitaciones de cada uno de ellos.

Primer enfoque: Análisis del Portfolio de Proyectos

Cada usuario de Scratch tiene una página de perfil dónde aparecen cada uno de los proyectos que ha creado.

Pero, ¿cómo podemos evaluar los proyectos que encontramos en el perfil de un estudiante?.  En este primer enfoque se plantea el uso de un visualizador que analice los bloques de programación. Nosotros os proponemos utilizar una aplicación de evaluación de proyectos como Dr. Scratch para el anáilis de los proyectos. Al acceder a la web comprobamos que solicita una url o un archivo para su evaluación

Una vez incluída la web para la evaluación del proyecto obtenemos un resultado con las distintas categorías a evaluar y los aspectos a mejorar.

Aquí podéis ver la evaluación de un proyecto de nivel básico. La aplicación propone mejoras en todos los aspectos. Al pinchar en cada uno de ellos, encontramos un enlace a una página que indica cómo mejorar en ese aspecto determinado.

Aquí podemos ver la evaluación de un proyecto de nivel medio. En este caso se añaden también los Malos hábitos de programación, como pueden ser el número de programas duplicados, de nombres inadecuados, etc. Si pinchamos sobre cada uno de estos avisos, nos informa sobre cómo mejorar los aspectos en los que podemos haber realizado un mal hábito de programación. Cómo podréis comprobar, esta herramienta es muy interesante para que los propios estudiantes realicen una autoevaluación de sus proyectos. Pero también puede ser de utilidad al profesor para evaluar los proyectos de su grupo, ya que, introduciendo la url del proyecto se pueden comprobar los puntos débiles y fuertes sin necesidad de revisar todos los bloques de código. Dr. Scratch tiene, además, un tipo de cuenta para el profesor, para que pueda incluir a sus estudiantes por clase y  evaluar los portfolios de manera más cómoda. Esta herramienta se encuentra en estos momentos en fase de desarrollo y mejora, por lo que no es posible utilizarla, si bien se espera que esté operativa en un futuro próximo. Volviendo al artículo de Brennan y Resnick, se hace un especial hincapié en la evaluación del portfolio de proyectos, en lugar de basarnos en un único proyecto final, a la hora de comprobar los aprendizajes obtenidos. Consideran esto una fortaleza de este enfoque. Sin embargo, no se puede obviar que la limitación principal se encuentra en que la evaluación está orientada al producto, en lugar de orientarse al proceso. Es precisamente esta limitación la que trata de superarse con el siguiente enfoque.

Segundo enfoque: Entrevistas basadas en artefactos

En este caso los autores realizan una investigación con entrevistas a distintos Scratchers en la que le realizan preguntas sobre la realización de sus proyectos. Estas entrevistas se organizan en cuatro secciones principales: antecedentes del proyecto, creación del proyecto, comunidad en línea y mirando hacia delante. La sección de creación del proyecto es la que mayor importancia tuvo a la hora de evaluar los conceptos y prácticas del Pensamiento Computacional. En este caso, los investigadores solicitaron a los participantes en el estudio que escogiesen dos de los proyectos de su portfolio. Debían escoger los que les resultasen más interesantes o de los que estuviesen más orgullosos. Se realizaron entrevistas de entre 60 y 120 minutos, según las secciones anteriormente relacionadas. Al realizar estas entrevistas, detectaron fallos en el primer enfoque. Por ejemplo, se dieron cuenta de que había estudiantes que habían reutilizado código sin llegar a entender exactamente como funcionaba. Con este hallazgo, entendieron que este enfoque permite detectar carencias en la comprensión de conceptos y procedimientos. El uso por parte de un estudiante de un bloque o una estructura no quiere decir necesariamente que haya comprendido su funcionamiento o que pueda utilizarlo en otros contextos. En una palabra, permite centrarse en el proceso de creación. Por otro lado, también se establecieron las limitaciones de este enfoque, que os presentamos a continuación:

• Es necesario invertir una excesiva cantidad de tiempo para llevar a cabo este tipo de evaluación, sobre todo si tenemos en cuenta que sería recomendable realizarlo varias veces a lo largo del curso para poder comprobar los avances.
• La selección que realiza el estudiante de dos proyectos puede llevar a que dicha selección se base más en sus intereses que en las estrategias de programación o los conceptos utilizados. Además, los Scratchers tendían a proporcionar proyectos con retos ya superados, lo que no permite observar aquellas dificultades en las que se encuentran en el momento de la evaluación.

A la vista de estas limitaciones, los autores proponen un tercer enfoque.

Tercer Enfoque: Diseño de Escenarios

Este enfoque consistió en diseñar escenarios. Estos escenarios se realizaron en colaboración con investigadores del “Education Development Center (EDC)”  Este centro se dedica al desarrollo del Pensamiento Computacional mediante la realización de actividades de programación en las que se usa Scratch. Este diseño de escenarios se aplicó exclusivamente en ambientes de aula. Desarrollaron tres conjuntos de proyectos en Scratch de complejidad incremental. Cada uno de estos conjuntos estaban formados por dos proyectos en los que se solicitaban los mismos conceptos y prácticas. Se presentaba cada conjunto al estudiante como si fuese la producción de un Scratcher novato y se le pedía que eligiese uno de los dos proyectos. Después se realizaban preguntas sobre su funcionamiento, cómo introducir posibles mejoras y  ampliaciones. Las fortalezas que se detectaron en este enfoque incluyen:

• Los escenarios, con las preguntas que se realizan ante cada proyecto, permiten explorar las distintas formas de conocer, comprobando la adquisición de los distintos conceptos y prácticas
• Se puede realizar esta misma dinámica a lo largo del curso utilizando los distintos escenarios, lo que favorece una evaluación del desarrollo competencial del alumno
• Los escenarios hacen hincapié en el proceso, más allá del uso de la memoria

Sin embargo, también se concluyó que, como en el enfoque anterior, existe la limitación del tiempo. Además también surgieron dudas en la evaluación sobre aspectos relacionados con el tiempo que se debe ofrecer al estudiante para resolver una de las preguntas o las ayudas que pueden llegar a ofrecérsele si se atasca en algún punto. Tras ver estos tres tipos de enfoque, los autores reflejan en esta tabla el resumen de los estudios realizados

Cómo se puede observar, y como así concluyen los autores, ninguno de los tres enfoques demostró ser totalmente efectivo a la hora de realizar la evaluación del Pensamiento Computacional, pero nos dan una idea de qué prácticas podemos llevar a cabo en nuestro día a día en el aula. Es posible que una mezcla de los tres enfoques, según el nivel de cada alumno y del momento del curso en el que nos encontremos, nos permita observar la evaluación del alumno, con el objetivo de ayudarle a alcanzar sus objetivos. Por último, los autores terminan el artículo ofreciendo 6 sugerencias para la evaluación del aprendizaje:

1. Apoyar el aprendizaje futuro: tener en cuenta los intereses del estudiante y aprovecharlos para impulsar sus adquisiciones de aprendizaje.
2. Incorporar artefactos: la evaluación debe incluir la creación y el examen crítico de proyectos.
3. Procesos reveladores: no debemos limitarnos a evaluar los conceptos. Los procesos son muy importantes en el Pensamiento Computacional, por lo que debemos encontrar maneras de evaluarlos. Una conversación sobre dichos procesos con un alumno puede llevar a mejorar la autocrítica hacia su trabajo y a reflexionar sobre su forma de pensar.
4. Realizar controles en múltiples momentos: es importante una evaluación formativa del estudiante que nos permita observar sus inicios, su evolución y hasta dónde puede llegar.
5. Valorar múltiples formas de comprender: la evaluación debe incluir las distintas maneras del saber. La reutilización, el análisis, la crítica o la depuración, entre otros, también deben ser evaluados.
6. Incluir múltiples puntos de vista: es interesante valorar la retroalimentación y la crítica de otros agentes de la comunidad educativa, como pueden ser los propios compañeros.

Os animamos a leer el articulo completo para conocer en detalle los estudios realizados y las conclusiones obtenidas. A lo largo de los últimos artículos nos hemos dedicado al estudio del marco de Brennan-Resnick para el desarrollo del Pensamiento Computacional y su evaluación. En el próximo artículo os ofreceremos un recurso muy interesante para desarrollar  la ética de los alumnos utilizando la Inteligencia Artificial. ¡Hasta el mes que viene!