Máquina clasificadora de objetos con inteligencia artificial

Grafimo: Epcia IA
Obtenida de: elaboración propia

Docente: Antonio Álvarez

Curso: 2º de Bachillerato

Asignatura: Tecnología Industrial II

Objetivo  

El proyecto ha consistido en diseñar, construir y programar una máquina capaz de clasificar objetos utilizando para ello un modelo de reconocimiento de imágenes desarrollado con Personal Image Clasifier. El modelo se utiliza en una aplicación programada con App Inventor que se comunica mediante Bluetooth con una placa Arduino que es la encargada de controlar la máquina. 

El objetivo final es conseguir diferenciar entre dos tipos de frutos secos (cacahuetes y almendras) y diversas piezas impresas en 3D con formas geométricas. 

Para ello, la máquina consta de tres partes: tolva alimentadora, cinta transportadora y plataforma basculante. 

La tolva tiene un pequeño motor de c.c. que hace girar una masa desequilibrada para que la tolva vibre y las piezas se deslicen hacia la salida. En ésta, hay una compuerta de corredera con un sensor de IR. 

Al detectar la salida de un objeto, la compuerta se cierra bloqueando la salida de otros objetos y se pone en marcha la cinta transportadora. 

Cuando el objeto llega a un segundo sensor de IR, la cinta se para y Arduino manda al dispositivo móvil tomar una imagen. El modelo de IA, clasifica la foto y devuelve a Arduino un código por bluetooth para que la plataforma clasificadora bascule hacia la caja adecuada. Esto se consigue mediante una articulación tipo cardan y dos servomotores. 

Una vez que el objeto es clasificado, se reinicia el ciclo de nuevo. 

Objetivos didácticos

  • Concretar conocimientos adquiridos en la etapa mediante el diseño, construcción y programación de una maqueta funcional y aplicable en la industria (clasificación de frutas, hortalizas… mediante visión artificial). 
  • Introducción a la inteligencia artificial como alternativa a la programación clásica de sistemas automáticos valorando las ventajas que supone este enfoque, e integrándola en los programas de AppInventor y Arduino. 
  • Aprender a conectar una máquina con una aplicación en un dispositivo móvil con comunicación en ambos sentidos. La detección de un objeto en un punto de la máquina ordena a la app hacer una foto y decidir donde manda a la máquina depositar ese objeto. 
  • Organizar tareas de manera paralela en subgrupos de trabajo para llegar a un objetivo final. 
  • Elaborar la documentación técnica que describa tanto el proceso seguido como el objeto final. 
  • Fomentar la vocación del alumnado hacia carreras o ciclos formativos de índole técnica. 

Desarrollo de las sesiones 

El proyecto se ha desarrollado en 30 sesiones siguiendo dos líneas paralelas de trabajo en un grupo de ocho alumnos de 2º de Bachillerato en la asignatura de Tecnología Industrial II 

Con cuatro sesiones semanales, se han podido simultanear tareas hasta llegar al resultado final. Por un lado se han desarrollado las sesiones de diseño y montaje de las tres partes de la máquina y por otro, se ha ido formando al alumnado en conceptos de inteligencia artificial y AppInventor y Arduino. 

Sesiones de diseño y montaje 

Tras una introducción, se dividió el trabajo en tres proyectos separados para montar la máquina (tolva, cinta y plataforma), asignando cada parte a grupos de tres y dos alumnos. El diseño ha requerido una gran coordinación entre los grupos ya que cada parte de la máquina determina las dimensiones y características de las otras dos. 

Se han utilizado conocimientos previos de diseño en 3D (TinkerCAD y FreeCAD) que se habían impartido en Tecnología Industrial I el curso pasado y se han perfeccionado durante el curso actual. Muchas de las piezas se han impreso en 3D. 

Montaje de la tolva alimentadora

Cinta transportadora 

Para hacer girar la cinta se ha utilizado un servomotor de rotación continua. Se observan los tambores que hacen girar la cinta y el acoplamiento del eje del servomotor, impresos en PLA con la impresora 3D.Salto de página 

Plataforma basculante 

Máquina casi terminada (a falta de la tarjeta bluetooth y las últimas modificaciones tras las pruebas), con las conexiones eléctricas terminadas tras hacer el esquema en TinkerCAD. 

Sesiones de inteligencia artificial y App Inventor

Tras una sesión introductoria de App Inventor, vinieron otras dos sesiones más para practicar la conexión de una aplicación en un dispositivo móvil con Arduino consistente en encender y apagar un LED desde el móvil. 

Tras éstas, comenzamos con la realización de un modelo de reconocimiento de texto con ML4K (Machine Learning for Kids) y una aplicación en AppInventor (individual o por parejas) y pasamos a continuación a realizar un modelo de reconocimiento de imágenes con Personal Image Clasifier. 

Este modelo se integraría en una aplicación en el móvil que tomara una foto y clasificara el objeto. De los modelos entrenados por los alumnos, salió la que se utilizaría en nuestra máquina. 

Una vez llegados a este punto del proyecto, “solo” había que montar todas las piezas del puzzle: 

  • Programación de Arduino (simulación previa en TinkerCAD). 
  • Aplicación de AppInventor con el modelo de reconocimiento de imágenes. 
  • Ajustar el funcionamiento del conjunto y realizar las modificaciones oportunas. 

En las últimas sesiones de prueba se identificó un problema a la salida de la tolva. El objeto caía a la cinta y el sensor de IR no lo detectaba por necesitar más tiempo. Se solucionó colocando una pequeña plataforma con un servomotor que deja caer el objeto a la cinta tras ser detectado.

Evaluación 

Contenidos y criterios de evaluación

Los contenidos de la asignatura de Tecnología Industrial de 2º de Bachillerato relacionados con el proyecto y los criterios de evaluación utilizados son los siguientes: 

Bloque de SISTEMAS AUTOMÁTICOS 

  1. Ciclos semiautomáticos y automáticos. 
  2. Sistema automático: control por lazo abierto y lazo cerrado. 
  3. Funcionamiento, diseño y simulación de sistemas automáticos. 
  4. Elementos de mando, control y potencia. 

Criterios de evaluación 

BL3.2. Analizar sistemas de control para aplicaciones concretas, mediante bloques genéricos, describir la función de cada bloque en el conjunto y diferenciar entre sistemas de control de lazo abierto y cerrado. 

BL3.3. Interpretar diagramas de bloques, identificando las diferentes señales de entrada/salida mediante el uso del software adecuado, para verificar el funcionamiento de sistemas automáticos. 

BL3.4. Describir la composición de una máquina o sistema automático identificando los elementos de mando, control y potencia y explicar la relación entre las partes que los componen. 

BLoque de CONTROL Y PROGRAMACIÓN DE SISTEMAS AUTOMÁTICOS 

  1. Microprocesadores. 
  2. Aplicaciones de los microprocesadores: el microcrontrolador y el autómata programable. 

Criterios de evaluación

BL5.2. Explicar el funcionamiento de los autómatas programables y los microcontroladores a partir del conocimiento de los microprocesadores. 

BLoque de CONTENIDOS TRANSVERSALES A LA ASIGNATURA 

  1. Estrategias de comprensión oral. 
  2. Propiedades textuales de la situación comunicativa. 
  3. Respeto en el uso del lenguaje. 
  4. Estrategias lingüísticas y no lingüísticas. 
  5. Terminología conceptual. 
  6. Estrategias de comprensión lectora. 
  7. Estrategias de expresión escrita. 
  8. Aplicación de las normas ortográficas y gramaticales. 
  9. Estrategias de búsqueda, selección, síntesis y presentación de la información.  
  10. Bibliografía. 

Criterios de evaluación 

BL6.9. Colaborar y comunicarse, filtrando y compartiendo información y contenidos digitales, seleccionando la herramienta de comunicación TIC más adecuada, para construir un producto o tarea colectiva.  Aplicar buenas formas de conducta en la comunicación y prevenir, denunciar y proteger a otros de las malas prácticas. 

BL6.10. Planificar tareas o proyectos, individuales o colectivos, describiendo acciones, recursos materiales, plazos y responsabilidades para conseguir  los objetivos propuestos, adecuar el plan durante su desarrollo considerando diversas alternativas para transformar las dificultades en posibilidades,  evaluar el proceso y el producto final y comunicar de forma creativa  los resultados obtenidos con el apoyo de los recursos adecuados. 

BL6.11. Organizar un equipo de trabajo distribuyendo responsabilidades y gestionando recursos para que todos sus miembros participen y alcancen las metas comunes, influir de manera positiva en los demás generando implicación en la tarea y utilizar el diálogo igualitario para resolver conflictos y discrepancias actuando con responsabilidad  y  sentido ético. 

BL6.12. Gestionar de forma eficaz y con motivación tareas o proyectos, hacer propuestas creativas y confiar en sus posibilidades,  tomar decisiones razonadas asumiendo riesgos y responsabilizarse de las propias acciones y de sus consecuencias. 

BL6.13. Crear y editar contenidos digitales como documentos de texto, presentaciones multimedia y producciones audiovisuales con sentido estético utilizando aplicaciones informáticas de escritorio o servicios de la web para consolidar los conocimientos adquiridos en la materia, conociendo cómo aplicar los diferentes tipos de licencias. 

Instrumentos de evaluación 

Inteligencia artificial y App Inventor

Las prácticas previas a la programación de la maqueta se han evaluado mediante rúbricas que valoran los diferentes aspectos de cada una de ellas, así como la programación final y la corrección de errores. 

El reducido tamaño del grupo ha posibilitado utilizar la observación directa ya que la interacción profesor-alumnado ha sido intensa y frecuente. 

Diseño y montaje de la maqueta

La valoración de la parte más orientada al taller se ha realizado mediante del registro de la actividad y participación de cada alumno mediante observación directa. Se valora la autonomía de cada grupo ya que a veces es necesario que el profesor intervenga más con unos alumnos que con otros. 

Cada una de las partes de la maqueta se valorará con una rúbrica. 

Al final del montaje, se pedirá a cada alumno que valore la participación de sus compañeros/as en el proyecto. 

La memoria final se evaluará con una rúbrica similar a la siguiente: 

Reflexión sobre las dificultades encontradas y logros obtenidos 

El proyecto ha sido muy gratificante, tanto para el alumnado como para mí como profesor. 

Ha sido muy interesante el enfoque de un proyecto de Tecnología clásico, como es una clasificadora, detectando los objetos de una manera totalmente novedosa. Ya no estamos diferenciando bolas blancas o negras mediante sensores sencillos, sino que utilizamos toda la potencia de un móvil para combinarlo con un modelo capaz de distinguir objetos mediante inteligencia artificial (un cacahuete no es igual que otro). Es algo que pone de manifiesto como en la asignatura de Tecnología Industrial, los contenidos curriculares se quedan obsoletos y necesitan una renovación urgente y más frecuente.  

La combinación de tres proyectos separados (las tres partes de la maqueta) ha requerido una coordinación de los participantes que se ha logrado totalmente. 

App Inventor, modelo de reconocimiento de imágenes, programación de Arduino, electricidad y electrónica, diseño e impresión 3D, mecanismos, control automático, comunicación bluetooth… Es difícil realizar proyectos que combinen esa diversidad de contenidos.  

El proyecto abre la puerta a seguir por este camino en cursos próximos y ha contribuido en gran medida a fomentar alguna que otra vocación de cara al próximo curso en la universidad. 

La magnitud del proyecto, como es totalmente natural en la forma de trabajar la asignatura, entraña retos y dificultades que se han tenido que ir solucionando sobre la marcha. 

Una dificultad ha sido sin duda el Picture Image Clasifier. Ha sido una pena no poder trabajar con ML4K con imágenes. La realización de los modelos de I.A. es más complicada. Si te equivocas al asignar una imagen a una categoría, hay que volver a empezar. Ha sido difícil llegar a un modelo que funcionara con ciertas garantías y ha habido que emplear más tiempo del previsto para conseguirlo. 

Otra dificultad es que el funcionamiento mecánico de la maqueta vaya “redondo”, por les he tenido que animar continuamente e intervenir, a veces más de lo necesario en del ajuste final, fase en la que todavía estamos. 

La última dificultad, que no tiene nada que ver con el proyecto en sí, ha sido la cercanía de la EBAU y la saturación y estado de nerviosismo que se ha ido apoderando de mis alumnos y alumnas, a los al final se les ha quedado corto el tiempo. La última fase, la creación de una documentación del trabajo realizado por su parte no se ha podido terminar. 

En definitiva, acabamos el curso (sobre todo yo) con un muy buen sabor de boca y pensando ya en próximos proyectos. El trabajo ha sido mucho pero ha merecido la pena. 

Para profundizar 

Enlace al vídeo resumen del proyecto que ilustra el camino desde el comienzo hasta tener la máquina clasificadora totalmente terminada: 

https://youtu.be/A6Nx0G7MHZc