Premio La-Tecnologia 2023: EyeBREAK podría ser un gran avance

Para quienes sufren accidentes cerebrovasculares u otras afecciones debilitantes, el control del párpado puede ser una de las últimas funciones motoras que quedan. Inspirado por [Jeremiah Denton] parpadeando en código Morse en una entrevista televisada, [MBW] diseñó un dispositivo basado en ESP32 para decodificar parpadeos en palabras.

Si bien un ESP32 ofrece Bluetooth para simular un teclado y tiene un consumo de energía relativamente bajo, lograr que un sistema de detección de parpadeo adecuado funcione a 20 cuadros por segundo en un entorno restringido es un desafío. Intentos anteriores utilizaron puntos de referencia faciales para intentar determinar, basándose en proporciones, si un ojo estaba abierto o cerrado. Un detector en cascada combinado con un clasificador XGBoost ofreció un rendimiento excelente, pero tuvo problemas cuando el ojo no estaba centrado. En última instancia, una CNN de 4 capas y 50 × 50 en TensorFlow Lite procesa los fotogramas de la cámara y produce una única salida, con los ojos abiertos o cerrados. Para fines de depuración, transmite fotogramas de la cámara a través de Wi-Fi con anotaciones a través de OpenCV, aunque lograr que OpenCV se compilara para ESP32 tampoco fue trivial.

[MBW] entrenó el modelo utilizando el conjunto de datos MRL y luego lo cuantizó a int8. Lograr que las pilas de Bluetooth y Wi-Fi se ejecutaran simultáneamente fue un poco complicado, al igual que administrar la RAM. Después de agotar SRAM e IRAM, [MBW] tuvo que pasar a PRAM. Todo el sistema está integrado en unas gafas livianas y ofrece una experiencia bastante cómoda.

Si bien TensorFlow y los microcontroladores pueden parecer una pareja un poco extraña, al final del día, el motor de inferencia simplemente está haciendo algunos cálculos en una serie de entradas con algunos pesos. Incluso hemos visto TensorFlow Lite en un Commodore 64. Si no conoce al [Almirante Jerimiah Denton], podemos arrojarle algo de luz.