PT
Ler e reconhecer emoções de expressões faciais e verbais é um marco na Interacção
Humana com um Computador. As recentes tecnologias de deteção, nomeadamente o
sensor Microsoft Kinect, recolhem dados de modalidades básicas como imagens RGB,
de informaçãode profundidade e defala que podem ser usados em reconhecimento de
emoções. Mais ainda, o sensor Kinect consegue reconhecer e seguir uma cara em tempo
real e apresentar os pontos fiduciais, assim como as 6 AUs – Action Units básicas.
Neste trabalho exploramos esta informação através da compilação de um dataset único e
exclusivo que representa uma oportunidade para a comunidade académica e para o
progresso do problema do reconhecimento de emoções. Este dataset inclui dados RGB,
de profundidade, de fala, pontos fiduciais e AUs, para 18 voluntários e 7 emoções.
Apresentamos resultados com a classificação automática de emoções com este dataset,
usando classificadores k-vizinhos próximos, máquinas de suporte de vetoreseredes
neuronais, em abordagens multimodais e unimodais. As nossas conclusões indicam que
abordagens multimodais permitem obter melhores resultados.
EN
Reading emotions from facial expression and speech is a milestone in Human-Computer
Interaction. Recent sensing technologies, namely the Microsoft Kinect Sensor, provide
basic input modalities data, such as RGB imaging, depth imaging and speech, that can
be used in Emotion Recognition. Moreover Kinect can track a face in real time and
present the face fiducial points, as well as 6 basic Action Units (AUs).
In this work we explore this information by gathering a new and exclusive
dataset. This is a new opportunity for the academic community as well to the progress
of the emotion recognition problem. The database includes RGB, depth, audio, fiducial
points and AUs for 18 volunteers for 7 emotions. We then present automatic emotion
classification results on this dataset by employing k-Nearest Neighbor, Support Vector
Machines and Neural Networks classifiers, with unimodal and multimodal approaches.
Our conclusions show that multimodal approaches can attain better results.
