Construcción de memorias asociativas evolutivas orientadas al

Construcción de
memorias asociativas
evolutivas orientadas al
estudio de señal EEG y su
aplicación a la
teleoperación
Asesores: Dra. Graciela Román Alonso y Dr. Juan
Villegas Cortez
Oficina: T-215 (UAM Izt) / G-301 int 1 (UAM Azc)
e-mail: grac@xanum.uam.mx / juanvc@azc.uam.mx
Perfil deseable del alumno:
• Alumno con conocimientos en programación paralela.
• Alumno con interés en tópicos de la inteligencia artificial y el reconocimiento de patrones.
México D.F. - Marzo 2015
PROPUESTA
1
Introducción
El desarrollo de la tecnología ha llevado a las computadoras de uso común
(Computadoras Personales o PC) a ser equipos con gran capacidad de cálculo y
almacenamiento. Puntos en los que se ha centrado su desarrollo, dejando de lado a una rama
de las PC que prácticamente no ha cambiado desde que se crearon. Las interfaces de entrada
y salida (E/S) de la PC, de forma generalizada, se componen básicamente de 3, dos de
entrada, teclado y ratón (o touch–pad), y una de salida, el monitor.
Las tecnologías de comunicación con la PC originalmente fueron creadas en base a los
recursos de los que se disponían en ese momento, razón por la cual el mouse o ratón es un
dispositivo independiente (con carga mínima al sistema), sin embargo con el desarrollo de las
interfaces gráficas cada vez más complejas y con el avance en la capacidad de cómputo de los
equipos, se empiezan a vislumbrar los problemas a causa de la falta de una interfaz de
comunicación adecuada a las capacidades intelectuales del hombre y a las capacidades de los
equipos de cómputo de los que dispone [1].
Por otra parte, (pero hacia el mismo destino) esta el uso de la tecnología para asistir a
personas discapacitadas o con habilidades diferentes, para quienes se han desarrollado
dispositivos especiales que permitan a estas personas tener una mejor calidad de vida [2].
Estas tecnologías, de manera general, se pueden englobar en un solo objetivo: crear canales
de comunicación adecuados a las capacidades de estas personas. Muchos de estas personas
se ven con la problemática de no contar con ningún tipo de movimiento físico para poder
comunicarse, y es en torno a estas características que se ha buscado dentro de un área muy
especifica para poder encontrar una solución, las ondas electro encefalográficas (EEG).
A partir de que se desarrolló la tecnología que permite leer las ondas EEG de los
humanos, se planteó la posibilidad de interpretarlas y usarlas como un medio de
comunicación con dispositivos que puedan ir, desde control de dispositivos hasta prótesis
robóticas. A este tipo de tecnología se le conoce como BCI (Brain–Computer Interface) y tiene
una ventaja enorme sobre cualquier otra interfaz de control, las BCI no requieren movimiento
físico para su manipulación.
Sin embargo, los actuales desarrollos de BCI aun tienen grandes problemas que
solucionar, entre los que más resaltan son:
•
El lento entrenamiento de los usuarios de estas interfaces.
•
Baja resolución espacio–temporal (mucho tiempo para poca información).
•
Baja precisión en un control bi–dimensional.
PROPUESTA
2
Por lo que existen aún muchos caminos a estudiar por los cuales se pueda alcanzar una
correcta interpretación de las ondas EEG. Las corrientes principales que existen dentro del
desarrollo de BCI han sido 2, las cuales se diferencian por sus puntos de vista del análisis del
problema.
Un primer grupo esta atacando el problema desde el punto de vista de la teoría de
control, mientras que otro esta usando técnicas de reconocimiento de patrones, ambos
apoyados en herramientas de inteligencia artificial y procesamiento digital de señales. Se han
desarrollado prototipos de BCI que han usado series de tiempo que les permite hacer
predicciones en las ondas EEG [3] mientras que otros han estado usando sistemas de
clasificación para reconocimiento de patrones, ambos alcanzando resultados similares, por lo
que aun no existe un camino efectivo para alcanzar una solución eficiente al problema.
En la presente propuesta se va a trabajar sobre la última corriente mencionada con el fin
de realizar comparaciones que puedan mostrar que técnicas de reconocimiento de patrones
puedan dar mejores resultados para el funcionamiento de una BCI eficiente.
Objetivo general
Construir un sistema para la generación de Memorias Asociativas evolutivas aplicadas
hacia problemas reales de reconocimiento de patrones; a fin de obtener productos tangibles
con el desarrollo de nuevas formas de conceptualizar el reconocimiento de patrones, desde la
perspectiva de la asociación, y aplicarlas al análisis de la señal EEG con propósito de
detección de intención de movimiento para teleoperación.
Objetivos específicos
❖
Estudiar e identificar los puntos óptimos del cerebro que permitan extraer los
componentes de las señales EEG que contengan la información de movimientos, o
tareas de movimientos, deseados en pensamientos por parte de un usuario.
❖
Determinar la combinación operacional que mejor se pueda implementar para las
señales EEG beta (ß), mu (µ) y P300.
❖
Generar un clasificador de ondas EEG a partir de Memorias Asociativas Evolutivas
que identifique las señales EEG necesarias asociadas a la intención de movimiento.
PROPUESTA
3
Metodología
La metodología planteada para lograr el desarrollo de éste proyecto se puede dividir de
forma resumida en tres etapas, las cuales son:
❖
Adquisición de la señal.
❖
Clasificación de las componentes de la señal EEG por medio de memorias asociativas
evolutivas.
❖
Entrenamiento y prueba de las BCI.
A continuación se explica con más detalle estas tres etapas.
Adquisición de la señal.
La adquisición de la señal EEG se hará directamente usando la diadema Emotiv EPOC
Neuroheadset, misma que reporta la distribución de 14 puntos en la cabeza del usuario,
agregando el dato de la posición de estos puntos, más el dato del giroscopio, reportando un
total de 25 señales a trabajar. Actualmente ya se hizo el análisis de operación de cómo leer las
señales EEG desde el dispositivo y se están analizando las señales de posición de los puntos
de lectura cerebral, y su complejidad se esta resolviendo a fin de poder tener directamente los
valores de éste parámetro acorde al tiempo de lectura, acorde al protocolo de entrenamiento y
así poder construir nuestras bases de datos de patrones acorde con tareas de movimientos
expresados en pensamientos por parte del usuario.
Clasificación de las componentes de la señal EEG por medio de Memorias asociativas
evolutivas.
El proceso de clasificación de las señales EEG por medio de memorias asociativas
evolutivas es el paso crucial, dado que involucra el arreglo de los datos de la señal en
matrices tridimensionales de número de lecturas (sampleos) de la señal por segundo sobre 59
patrones, considerando un número de veces en de entrenamiento del pensamiento, e.g. 200
veces. Bajo la consideración anterior, se tiene una matriz de 200*800*59 valores reales, con
esto se satura rápidamente la memoria RAM y aún la memoria SWAP que en sistemas UNIX
se pueden declarar y tener físicamente. Para lograr que el cómputo evolutivo pueda tener
éxito es necesario considerar, por un lado el hardware y por otro lado el software. Hablando
PROPUESTA
4
del hardware, un equipo de cómputo de alto desempeño para poder lidiar con ésta parte, que
ya esta probada con un menor número de patrones, pero que al aumentar como en este caso,
se tienen que manejar rutinas de administración de memoria dinámica sobre una muy buena
precisión de operaciones de punto flotante, este último punto el tipo de microprocesador que
mejor desempeño tiene en su trabajo son la serie Intel Xeon 64bits. Hablando del software, es
aquí donde es crucial la implementación de técnicas de cómputo en paralelo que tomen en
consideración el número masivo de operaciones de punto flotante, y también el aspecto de la
rapidez con precisión de los resultados.
Entrenamiento y pruebas de la BCI.
En el entrenamiento y las pruebas de la BCI aquí involucrada, junto con los resultados
que arrojen de asociación las Memorias asociativas evolutivas, se echará a andar una
metodología de entrenamiento que contemple: número de sesiones, duración, intervalo entre
sesiones y, diseño de la sesión. Esto involucrado en tres pasos: 1) Análisis de eficiencia, 2)
Diseño de la metodología, 3) Pruebas. Todo lo anterior se traduce en los siguientes pasos para
el diseño e implementación del sistema de traducción de las señales EEG y su aplicación en
una tarea concreta:
1. Adquisición de señales encefálicas.
2. Análisis de las señales en tiempo y frecuencia.
3. Pre–procesamiento de la señal.
4. Obtención de características por relevancia en asociación por medio de Memorias
asociativas.
5. Evaluación y selección de los mejores individuos reportados por el cómputo
evolutivo.
6. Diseño e implementación de un módulo de extracción de características acorde a las
memorias asociativas obtenidas.
7. Evaluación del modulo de extracción de características.
8. Diseño e implementación del módulo de procesamiento de las características sobre
nuevas señales EEG obtenidas vs. aprendidas.
9. Diseño e implementación del clasificador.
10.Evaluación del desempeño.
PROPUESTA
5
Para lograr esto se construirá un clasificador a partir de las memorias asociativas
evolutivas, como se reporta en [19], y además se comparará su desempeño con un clasificador
basado en redes neuronales artificiales por Backpropagation.
Para evaluar el desempeño de los algoritmos, éstos se evaluarán con las técnicas
estandarizadas para ello en el área del Reconocimiento de Patrones:
❖
Resustitución
❖
Dejar-uno-fuera (Leave One Out)
❖
Validación cruzada (Cross-Validation)
Finalmente, y como parte crucial de esta propuesta, el método para determinar la mejor
combinación (lineal o no–lineal) resultante del proceso de cómputo evolutivo por medio de la
Programación genética, será llevado a cabo por medio de estudiar al menos dos funciones de
aptitud en el proceso co–evolutivo propuesto en [19], y el uso de alta precisión numérica en el
manejo de todas las operaciones de punto flotante en cómputo de alto desempeño. El equipo
necesario de cómputo se detalle más adelante.
RECURSOS
Para llevar a cabo esta propuesta se hará uso de los siguientes recursos como entorno
de desarrollo.
Hardware
•
WorkStation Serie Dell Precision 2, 4, 8 y 12 núcleos con 4, 8 y 16 GB en RAM, con
procesador Intel XEON 64 bits.
•
Diadema Emotiv Epoc.
•
Recursos del Laboratorio de Sistemas Paralelos y Distribuidos de la UAM
Iztapalapa (T-169)
Software
•
Sistema operativo Linux 64 bits.
•
Sistema operativo MS-Windows 7 Ultimate.
•
Compilador ANSI C/GCC.
•
Bases de datos de señal EEG.
PROPUESTA
6
Lugar de realización: UAM Iztapalapa.
Adicionalmente, en colaboración, se ponen a disposición los recursos del Laboratorio
de Multimedia de la UAM Azcapotzalco.
Calendarización de actividades
Trimestre
Actividad
15-P
Estudio del Estado del Arte, la problemática y la metodología de investigación. Estos avances
serán presentados por escrito y en el seminario organizado para tal fin.
15-O
Implementación y evaluación del desempeño de los algoritmos propuestos. Los avances del
proyecto serán presentados por escrito, en formato de artículo. Estos resultados serán
presentados en el seminario organizado para tal fin.
16-I
Escritura y entrega de una primera versión de la comunicación idónea de resultados. Los
resultados serán presentados en el seminario organizado para tal fin.
16-P
Entrega de la versión final de la idónea comunicación de resultados y defensa oral del trabajo
de investigación ante un jurado especializado.
Bibliografía inicial
1. Two-Handed Virtual Manipulation,KEN HINCKLEY, RANDY PAUSCH, DENNIS
PROFFITT and NEAL F. KASSELL. ACM Transactions on Computer-Human Interaction,
Vol. 5, No. 3, September 1998, Pages 260–302.
2. Parallel Man–Machine Traning in Development of EEG-Based Cursor Control., Aleksander
Kostov and Mark Polak, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING,
VOL. 8, NO. 2, JUNE 2000 203
3. A Time-Series Prediction Approach for Feature Extraction in a Brain–Computer
Interface.Damien Coyle, Girijesh Prasad and Thomas Martin McGinnity, IEEE
TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING,
VOL. 13, NO. 4, DECEMBER 2005 461
4. Control of a two-dimensional movement signal by a noninvasive brain–computer interface
in humans, Jonathan R. Wolpaw and Dennis J. McFarland, Proceedings of the National
Academy of Sciences, December 21, 2004 vol. 101 no. 51 17849 – 17854
5. Bain–Computer Interface Technology: A Review of the First International Meeting.
Jonathan R.Wolpaw, Niels Birbaumer,William J. Heetderks, Dennis J. McFarland, P. Hunter
PROPUESTA
7
Peckham, Gerwin Schalk, Emanuel Donchin, Louis A. Quatrano, Charles J. Robinson, and
Theresa M. Vaughan IEEE TRANSACTIONS ON REHABILITATION ENGINEERING,
VOL. 8, NO. 2, JUNE 2000.
6. EGG-based Brain Computer Interface, Janne Lehtonen, HELSINKI UNIVERSITY OF
TECHNOLOGY., Department of Electrical and Communications Engineering. May 3 2002,
Páginas : 17, 28, 44-46, 62, 67-71,
7. A Direct Brain Interface Based on Event-Related Potentials, Simon P. Levine, Jane E.
Huggins, Spencer L. BeMent, Ramesh K. Kushwaha, Lori A. Schuh, Mitchell M. Rohde,
Erasmo A. Passaro, Donald A. Ross, Kost V. Elisevich, and Brien J. Smith, IEEE
TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000.
8. Brain–Computer Interface Research at the Neil Squire Foundation, Gary E. Birch and Steve
G. Mason, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO.
2, JUNE 2000
9. Critical Decision-Speed and Information Transfer in the “Graz Brain–Computer
Interface”,G. Krausz, R. Scherer, G. Korisek and G. Pfurtscheller, Applied
Psychophysiology and Biofeedback, Vol. 28, No. 3, September 2003
10.Direct brain communication: neuroelectric and metabolic approaches at Tübingen, Boris
Kleber y Niels Birbaumer, LABORATORY NOTES, Marta Olivetti Belardinelli and
Springer-Verlag 27 January 2005.
11.Prostheti Control by an EEG-based Brain-Computer Interface (BCI), Christoph Guger,
Werner Harkam, Carin Hertnaes, Gert Pfurtscheller, IEEE Trans. on Neural Systems and
Rehabilitation , see also Rehabilitation Engineering, IEEE Transactions on., Volume: 8,
Issue: 4 On page(s): 447-456. Dec 2000 [12] Linear Classification of Low-Resolution EEG
Patterns Produced by Imagined Hand Movements
12.F. Babiloni, F. Cincotti, L. Lazzarini, J. Millán, J. Mouriño, M. Varsta, J. Heikkonen, L.
Bianchi, and M. G. Marciani, IEEE TRANSACTIONS ON REHABILITATION
ENGINEERING, VOL. 8, NO. 2, JUNE 2000
13.The Mental Prosthesi: Assessing the Speed of a P300-Based Brain–Computer
Interface,Emanuel Donchin, Kevin M. Spencer, and Ranjith Wijesinghe, IEEE
TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000.
14.Recogniion of Motor Imagery Electroencephalography Using Independent Component
Analysis and Machine Classifier, CHIH-I HUNG, PO-LEI LEE, YU-TE WU, LI-FEN CHEN,
TZU-CHEN YEH and JEN-CHUEN HSIEH, Annals of Biomedical Engineering, Vol. 33,
No. 8, August 2005 pp. 1053–1070.
PROPUESTA
8
15.Rapid Prototyping of an EEG-Based Brain–Computer Interface (BCI), Christoph Guger,
Alois Schlögl, Christa Neuper, Dirk Walterspacher, Thomas Strein, and Gert Pfurtscheller,
IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION
ENGINEERING, VOL. 9, NO. 1, MARCH 2001 49.
16.Robust Classification of EEG Signal for Brain–Computer Interface, Manoj Thulasidas,
Cuntai Guan and Jiankang Wu, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND
REHABILITATION ENGINEERING, VOL. 14, NO. 1, MARCH 2006.
17.Steady-State Somatosensory Evoked Potentials: Suitabe Brain Signals for Brain–Compuer
nterfaces?, Gernot R. Müller-Putz, Reinhold Scherer, Christa Neuper and Gert
Pfurtscheller, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION
ENGINEERING, VOL. 14, NO. 1, MARCH 2006.
18.A Virtual Reality Tesbed for Brain–Compuer Interface Research, Jessica D. Bayliss and
Dana H. Ballard, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8,
NO. 2, JUNE 2000.
19.Associative Memories through Genetic Programming. Juan Villegas-Cortez, J. Humberto
Sossa A., Carlos Avilés Cruz, Gustavo Olague. Revista Mexicana de Física. Vol. 57, No. 2.
México. ISSN 0035-001X. Abril 2011.
20.Optimisation of a BCI system using the GA technique, Dobrea, D.-M.; Dobrea, M.-C.;
Applied Sciences in Biomedical and Communication Technologies, 2009. ISABEL 2009. 2nd
International Symposium on , vol., no., pp.1-6, 24-27 Nov. 2009.
PROPUESTA
9