IEEE LATIN AMERICA TRANSACTIONS, VOL. 14, NO.
12, DECEMBER 2016
Identifying Emotions in Speech Patterns: Adopted
Approach and Obtained Results
L. Y. Mano, E. Vasconcelos and J. Ueyama
Abstract— There are an increasing number of studies in the
area of Human-Computer Interaction which bear witness to the
importance of taking note of the emotional factors involved when
interacting with computing systems. Once the emotions of the users
are known, it is possible for artificial agents to influence these
feelings with a view to interacting with them and stimulating their
routine or specific activities on a day-to-day basis. However,
providing computing systems with the capacity to recognize and
interpret the emotion of their users, is one of the great challenges in
the area of Human-Computer Interaction. For this reason, this
article adopts an approach based on the Ensemble of Classification
which is concerned with identifying and classifying emotions on the
basis of the motor expression of the users (in this case the voice).
When this procedure is compared with the classical approaches
adopted in the literature, the results show that, as well as achieving
a high degree of accuracy, the proposed model maintains a good
level of consistency when identifying the emotions of the users.
Keywords— Human-Computer Interaction (HCI), Emotion
Classification, Ensemble of Classification, Voice.
I. INTRODUÇÃO
E MOÇÃO é uma característica fundamental do ser humano
que lhe permite desfrutar de experiências e o influenciar
em suas decisões diárias. Esse aspecto é importante na
interação entre as pessoas [1] e pode ser utilizado para intervir
na realização de uma tarefa, ou até mesmo para tomar
decisões em prol do usuário; por exemplo, sugerir um gênero
de filme para aliviar o estresse com base na sua atual emoção
[2]. As características emocionais têm sido estudadas há muito
tempo na área da psicologia [3]. Convém salientar, no entanto,
que somente nos últimos anos houve um aumento significativo
de pesquisas sobre o tema na área de Computação Afetiva [1,
4, 5, 6]. Uma das divisões básicas da Computação Afetiva é a
Interação Humano-Computador (IHC) [7], a qual estuda como
os dispositivos computacionais podem reconhecer, modelar e
responder às emoções humanas e, dessa forma, como podem
expressá-las mediante uma interface/interação computacional
[2]. Assim, sistemas capazes de reconhecer as emoções do
usuário, interpretando-as e reagindo de modo inteligente e
sensível, poderiam atender mais adequadamente aos requisitos
de interação dos indivíduos.
Emoções são complexas, difíceis de identificar e de
mensurar. Estão ligadas à reação de vários componentes, que
podem ser sintetizados em: Avaliações Cognitivas,
Sentimentos Subjetivos, Tendências Comportamentais,
L. Y. Mano, Universidade de São Paulo (USP), São Carlos, São Paulo,
Brasil, leandroyukiomano@usp.br
E. Vasconcelos, Universidade de São Paulo, São Paulo, São Paulo, Brasil,
eduardovasconcelos@usp.br
J. Ueyama, Universidade de São Paulo, São Paulo, São Paulo, Brasil,
joueyama@icmc.usp.br
4775
Reações Fisiológicas e Expressões Motoras [8]; e trazem à
tona a discussão sobre o que as emoções são e o que precisa
ser estudado quando se quer determinar o seu significado [8].
De maneira mais específica, a utilização da fala dos usuários
para identificar as emoções permite que tal informação possa
ser obtida sem uma ação explícita do usuário e sem o uso de
equipamentos específicos ou intrusivos. Além disso, no
âmbito tecnológico, é comum que equipamentos
computacionais (por exemplo, tablets, desktops, notebooks e
smartphones) possuam microfones, o que permite uma
interação em tempo real.
Devido à natureza do problema de identificar emoções,
técnicas de Aprendizado de Máquina (AM) têm sido
amplamente investigadas nesse contexto [1, 2, 6, 9, 10, 11], as
quais são tratadas como um problema de classificação
comumente supervisionado. No entanto, parte dos estudos
encontrados na literatura descrevem o uso de classificadores
isolados para resolver esse problema [1, 2, 9], apesar de
alguns trabalhos abordarem, com resultados promissores, a
utilização do conceito de Comitê de Classificação, do inglês
Ensemble of Classification (EC) para classificar emoções [6,
10, 11]. Adicionalmente, a utilização de ECs relata bons
resultados em outras áreas, como em reconhecimento de
padrões [13], classificação de caracteres [12] ou na
identificação de problemas pulmonares [26] ou mesmo de
câncer, na área médica [27].
Com o intuito de avançar no estado da arte, este artigo
propõe um modelo capaz de identificar e classificar as
emoções dos usuários baseado em suas Expressões Motoras,
mais especificamente em sua fala (voz). O modelo proposto é
baseado em features Mel Frequency Cepstral Coefficient
(MFCC) e em Log Energy (logaritmo da energia do sinal),
para interpretar a fala do usuário, bem como em um EC, para
classificar as emoções. Assim, é possível realizar uma análise
da fala a fim de aplicar a computação afetiva. Para validar o
nosso modelo, realizou-se uma análise comparativa com
abordagens clássicas da literatura e os nossos resultados
mostraram ser promissores. O nosso modelo possui três
contribuições chaves: (i) debater e encorajar estudos sobre a
identificação de emoções, bem como a interação dos usuários
por dispositivos computacionais de maneira não intrusiva; (ii)
abordar o estudo da fala para a atribuição de emoção; e (iii)
avaliar a abordagem baseada em ECs para a classificação de
emoções de indivíduos.
Este artigo está organizado da seguinte forma: a Seção II
aborda conceitos prévios importantes para o entendimento do
uso da fala para o artigo proposto. Na Seção III, destacamos
os trabalhos relacionados ao contexto deste artigo. Após essa
troca de opiniões, na Seção IV, descrevemos como é realizada
a interpretação da fala e ,na Seção V, propomos a utilização
4776
do módulo de classificação da emoção baseada na fala do
usuário com a utilização de algoritmos de AM. Já, na Seção
VI, abordamos como os dados referentes ao comportamento
dos módulos de classificação foram coletados e apresentamos
os resultados obtidos. Por fim, na Seção VII, descrevemos as
conclusões e alguns trabalhos que poderão ser desenvolvidos
futuramente.
II. CONHECIMENTO PRÉVIO SOBRE EMOÇÕES
A emoção é uma reação complexa que envolve todo o
organismo do indivíduo e tem uma relação direta com as suas
necessidades, metas, valores e bem-estar em geral. Nesse
sentido, a fim de determinar o significado das emoções,
diferentes componentes são estudados em pesquisas sobre o
tema [8, 14]. Mahlke et al. (2008) destacam que uma
abordagem baseada em componentes oferece uma maneira
mais abrangente de entender os diferentes aspectos das
emoções em todas as situações. Assim, diferentes aspectos
podem ser utilizados para a análise emocional sem, no
entanto, desconsiderar a relação entre os diferentes
componentes. Assim, a Teoria Componencial das Emoções [8]
entende as emoções como níveis variáveis de mudanças inter-
relacionadas entre um conjunto de cinco componentes,
detalhados a seguir:
(i) Avaliação Cognitiva: é ligada à interpretação de uma
situação. O indivíduo avalia constantemente o mundo ao seu
redor e procura perceber as qualidades afetivas de eventos,
objetos e recursos;
(ii) Experiência Subjetiva: é responsável pela avaliação de
um episódio emocional, ou seja, da experiência consciente que
se relaciona com a capacidade do indivíduo de regular as
emoções;
(iii) Tendências Comportamentais: preparam e orientam o
indivíduo para (ou durante) uma determinada ação, como, por
exemplo, o tempo necessário para completar uma tarefa, o
número de erros cometidos, entre outros aspectos;
(iv) Reações Fisiológicas: são aspectos emocionais que
permitem revelar espontaneamente e inconscientemente as
emoções que controlam as funções do corpo, tais como:
respiração, digestão, circulação, entre outros, e;
(v) Expressões Motoras: implica em alterações nas
expressões faciais, vocais e/ou gestuais que acompanham a
experiência emocional do usuário. Assim, o rosto e a voz
sofrem mudanças com o grau de excitação.
Este artigo considera aspectos emocionais relacionados às
Expressões Motoras, mais especificamente às características
da fala do usuário. Esse componente foi selecionado devido à
facilidade da captura da voz dos usuários por dispositivos
computacionais, visto que, normalmente, possuem um
microfone e a interação é realizada próximo ao dispositivo. O
sinal de fala é constituído por diversos componentes de
frequência (ver Fig. 1) e varia de acordo com o teor emocional
da elocução produzida pelo usuário. A utilização dessa
abordagem faz sentido, pois considera a abrangência que a
proposta reflete sobre os aspectos emocionais do indivíduo.
IEEE LATIN AMERICA TRANSACTIONS, VOL. 14, NO. 12, DECEMBER 2016
Figura 1. Representação dos componentes de frequência da fala.
III. TRABALHOS RELACIONADOS
Pesquisas na área de AM têm gerado uma ampla
quantidade de métodos capazes de extrair padrões a partir de
exemplos passados e utilizados para tomar decisões em
situações novas (ainda não conhecidas) [2, 6, 11]. As técnicas
utilizadas para problemas de classificação estão sendo
aplicadas cada vez mais na análise de respostas emocionais [6,
11].
Um exemplo disso é a utilização de sensores fisiológicos
para a detecção e a classificação das emoções por meio das
Reações Fisiológicas do usuário. Peter e Urban (2012)
apresentam uma abordagem geral de reconhecimento de
emoções utilizando tais sensores. Nessa abordagem, os autores
desenvolveram um sistema que coleta dados de alguns tipos
de sensores: atividade eletrodérmica, temperatura do ar e
variabilidade da frequência cardíaca. Da mesma forma, Zhou
et al. (2011) têm como objetivo prever diferentes estados
emocionais do usuário por meio de sinais fisiológicos. Um
experimento foi desenvolvido para provocar respostas
emocionais com fotos de emoções padronizadas quando
alguns sinais fisiológicos foram medidos. Três algoritmos de
classificação – Regras de Decisão, k-Nearest Neighbors
(kNN) e Árvore de Decomposição – foram aplicados para a
construção de modelos de previsão das características
fisiológicas extraídas.
A pesquisa de Bailenson et al. (2008) propõe um modelo
baseado em algoritmos de classificação – Regressão Linear e
Rede Neural Artificial – para a análise de emoções em tempo
real baseando-se em Expressões Motoras e Reações
Fisiológicas. Um dos sensores faz o reconhecimento facial e o
outro a análise da variabilidade da frequência cardíaca e da
atividade eletrodérmica do usuário. Cinco especialistas
analisaram os vídeos com o objetivo de definir as classes
(saídas) para os algoritmos de classificação, por exemplo,
analisando se o usuário estava triste em determinado
momento. Similarmente, Mano et al. (2015) mostram como as
características faciais (olhos, boca, nariz, queixo e
sobrancelhas) e a localização dos pontos salientes faciais
(cantos dos olhos e boca) foram utilizadas para propor seis
representações faciais distintas, que enfatizam alterações
faciais baseadas em estudos psicológicos. Mano et al. (2015)
evidenciam que o uso de áreas pré-definidas da face em
conjunto com ângulos e distâncias é uma proposta válida para
construir modelos para a classificação da emoção.
O trabalho proposto por Khanchandani et al. (2009) utiliza
features prosódicas: frequências formantes, entropia,
variância, mínimos, mediana e corretor de predição linear para
a classificação de sinais de fala com carga emocional.
Khanchandani et al. (2008) utilizam gravações de áudio e
determinam um nível mínimo de energia no sinal de fala para
análise e, por meio de redes neurais Multilayer Perceptron
YUKIO MANO et al.: IDENTIFYING EMOTIONS IN SPEECH 4777

(MLP), realizam a classificação da fala do usuário. Javidi et para identificar as emoções com base na fala do usuário.
al. (2013) também utilizam as features: energia, potência, taxa Nesse sentido, é possível que dispositivos computacionais
de cruzamento do zero, tom da fala e coeficientes cepstrais de possam reconhecer, modelar e responder às emoções humanas
frequência em mel para a identificação da emoção. Os autores e expressá-las mediante uma interface/interação
realizaram experimentos com algoritmos de AM – Rede computacional.
Neural, Support Vector Machine (SVM) e Árvore de Decisão
– para a construção de um modelo que classifica a emoção do IV. INTERPRETAÇÃO DA FALA
usuário de acordo com a sua fala. A Tabela I apresenta uma A diferença entre sinais de voz que expressam diferentes
síntese das pesquisas detalhadas anteriormente. Estão descritas emoções está, sobretudo, na forma como o espectro de energia
as pesquisas, o tipo de componente baseado na Teoria do sinal se comporta. Por exemplo, emoções cuja expressão
Componencial das Emoções, os tipos de sensores utilizados vocal é caracterizada por exaltações e brados tendem a
para a captura e os algoritmos utilizados para a análise e a carregar mais energia do que emoções cuja expressão oral é
classificação da experiência emocional do usuário. mais branda. Assim, ao compararmos o espectro de
frequências de uma frase pronunciada de maneira negativa ao
TABELA I
SÍNTESE DAS PESQUISAS IDENTIFICADAS NA LITERATURA
espectro da mesma frase pronunciada de maneira positiva
notaremos diferenças na distribuição espectral de energia,
Tipo de Técnica de como ilustra a Fig. 2.
Trabalhos Tipo de Sensor
Componente Classificação
Árvore de
Atividade eletrodérmica,
Decisão,
Reações frequência e batimento
[5] Lógica Fuzzy;
Fisiológicas cardíaco, temperatura da
SVM e Redes
pele e do ar
Bayesianas
Atividade eletrodérmica, Regras de
Reações eletroencefalograma, decisão, kNN
[1]
Fisiológicas eletromiografia facial, e Árvore de Figura 2. Espectrogramas da frase “Gli operari si alzano presto” pronunciada
frequência respiratória Decomposição de maneira negativa e de maneira positiva.
Expressões
Atividade eletrodérmica, Regressão
Motoras e
[4]
Reações
reconhecimento facial, Linear e Rede Segundo Furui (2000), uma elocução humana é produto da
frequência cardíaca Neural filtragem realizada pelo trato vocal sobre a onda sonora
Fisiológicas
Expressões Comitê de resultante da interação do fluxo de ar vindo dos pulmões com
[6] Face
Motoras Classificação as cordas vocais. A maneira como uma frase é pronunciada
Expressões pode levar a inúmeras interpretações por parte do ouvinte.
[20] Fala MLP
Motoras
Rede Neural, Seres humanos são capazes de atribuir conotações emocionais
Expressões a elocuções de maneira automática. Do ponto de vista
[21] Fala SVM e Árvore
Motoras
de Decisão auditivo, as múltiplas interpretações possíveis são fruto de
Expressões Comitê de como a energia do sinal de fala está distribuída sobre o
Proposta Fala
Motoras Classificação
espectro de frequências audíveis do sinal, em outras palavras,
da densidade espectral de energia. Features associadas à
É possível perceber, pela Tabela I, que não há um consenso densidade espectral de energia de sinais sonoros são o
referente aos tipos de componente, de sensor e à técnica de “padrão” em aplicações de reconhecimento de voz, de
classificação utilizados quando se trata de identificar as instrumentos e de estilos musicais. De acordo com Jurafsky et
emoções dos usuários. Os trabalhos desenvolvidos por Zhou et al. (2009), MFCCs são as features mais comuns em aplicações
al. (2011) e Peter e Urban (2012) trazem a utilização de que requerem o processamento da fala. Esse tipo de feature é
sensores relacionados às Reações Fisiológicas, fato que pode baseado em cepstro e inspirado na maneira como o ouvido
comprometer a riqueza de detalhes de uma análise emocional. humano responde a estímulos sonoros, uma vez que as
Por outro lado, o trabalho proposto por Mano et al. (2015) frequências do espectro estão em escala mel, não linear, com
utiliza sensores relacionados às Expressões Motoras, mais gradação que procura imitar a percepção auditiva humana.
especificamente à face do usuário. Ainda, Bailenson et al. Neste trabalho 12 MFCCs, features log energy, delta e
(2008) propõem a utilização tanto de sensores relacionados às aceleração foram extraídos para formarem um conjunto de 39
Reações Fisiológicas quanto às Expressões Motoras. No features. O coeficiente log energy é obtido a partir do
entanto, o componente da face possui um peso menor que a cômputo do logaritmo da energia (total) do fragmento de sinal
fala quando se trata de classificação de emoção [28]. Nesse digital x[n] (ver Equação 1).
sentido, os trabalhos propostos por Khanchandani et al. (2009)
e Javidi et al. (2013) analisam a fala do usuário, porém não
abordam a utilização de ECs para a classificação de emoções
baseadas em voz. Com objetivo de abordar essa lacuna na
literatura e de amenizar os erros cometidos por uma única
técnica na classificação, propomos e avaliamos um Comitê Diferentes representações vocais (alegria, aversão, medo,
4778
neutro, raiva, surpresa e tristeza) são propostas para a
identificação e a classificação das emoções capazes de
codificar a configuração vocal de um indivíduo. A ferramenta
utilizada para obter informações vocais (features) é o
openSMILE [25]. Ele funciona baseado em scripts de
configuração da extração que se deseja executar. A ferramenta
recebe como argumentos o caminho do script de extração a ser
utilizado e o caminho do arquivo de áudio do qual são
extraídas as features descritas. O pipe de extração do
openSMILE é apresentado na Fig. 3. O processo de extração
de MFCCs (representado por Melspec) e de Log Energy
(representado por LOGE) são idênticos até o janelamento do
sinal e se divergem em seguida. Os processos convergem
novamente para extrair os coeficientes delta e aceleração.
Figura 3. Representação do pipe de extração de features.
As features delta e aceleração são respectivamente as
derivadas de primeira e de segunda ordem do vetor inicial de
12 MFCCs + 1 coeficiente log energy. Esse conjunto de
features foi obtido do trabalho proposto por Jurafsky et al.
(2009).
V. CLASSIFICAÇÃO DA EMOÇÃO
Devido ao grande interesse da literatura científica na busca
por alternativas e métodos que identificam e classificam a
emoção do usuário, propomos um modelo baseado em ECs
pela interpretação da fala do usuário. Esse modelo tem como
objetivo, por meio de uma combinação de respostas de
algoritmos de classificação, identificar e classificar a emoção
do usuário em um determinado momento, para que sistemas
computacionais possam se adaptar e interagir de maneira mais
assertiva com relação ao estado emocional do usuário.
Apesar da ampla utilização, os classificadores gerados a
partir de métodos de AM dificilmente alcançam 100% de
acurácia [8, 16]. Isso se deve ao fato de o desempenho de cada
método depender do ajuste de vários parâmetros, bem como o
grau de dificuldade associado a cada problema em particular.
A seleção de um único classificador descarta uma significante
quantidade de informações potencialmente relevantes. Por
esse motivo, o conceito de EC tem sido uma solução
promissora para o desenvolvimento de sistemas de alto
desempenho na área de reconhecimento de padrões [10].
Um dos aspectos que garante um bom desempenho de um
EC é a diversidade de seus componentes [17]. Para que os
classificadores base sejam considerados diversos entre si, eles
devem apresentar erros não correlacionados, ou seja, não
devem cometer erros nos mesmos padrões. Desse modo, para
que um Comitê obtenha um desempenho aceitável, ele deve
ser formado por classificadores que possuam acurácia
razoável e que não cometam erros coincidentes, para que os
IEEE LATIN AMERICA TRANSACTIONS, VOL. 14, NO. 12, DECEMBER 2016
erros de um classificador possam ser corrigidos pela opinião
de todos os outros componentes [10, 17]. A partir dessa
hipótese, a Fig. 4 apresenta a estrutura do módulo para a
classificação baseada em fala no processo de combinação de
um EC. Além disso, combinamos técnicas de classificação
cada vez mais aplicadas à análise de respostas emocionais
para o desenvolvimento do EC, tais como: MLP, kNN e SVM
[1, 6, 20].
Figura 4. Módulo para a classificação da emoção mediante a fala do usuário
baseado em Comitê de Classificação.
Tendo como entrada o resultado da interpretação da fala
descrita na Seção IV, a primeira camada de processamento
consiste em classificadores individuais. A segunda, consiste
em uma tomada de decisão que opera nos resultados da
camada anterior para gerar a decisão geral do EC (ver Fig. 4).
Vale salientar que, na decisão final do Comitê, a Equação 2
foi utilizada no processo de ponderação, e pesos proporcionais
foram atribuídos a cada algoritmo de acordo com a sua taxa
de acurácia. Na equação, o peso Pi, atribuído a cada
classificador i, foi obtido pela Equação 2, onde ai é a acurácia
e AUCi é a Area Under Curve, obtidos por cada classificador
i, e N é o número total de classificadores do Comitê, no caso
3. Assim, divide-se a multiplicação entre a e AUC de cada
algoritmo pela somatória de a e AUC dos três algoritmos para
obter o peso ponderado de cada um deles.
.
2
∑ .
A fim de avaliar o avanço e a acurácia do módulo de
classificação baseado em fala, implementamos os algoritmos
citados bem como o módulo de decisão do EC. Com isso,
coletamos dados sobre o comportamento e a avaliação do
módulo de classificação como um todo.
VI. METODOLOGIA E RESULTADOS
Para validar o Comitê foram utilizados dados de discurso
emotivo proveniente da base de dados EMOVO [19], de
acesso livre. A EMOVO emprega atores para pronunciar
frases, atribuindo-lhes conteúdo emocional. Ao todo,
gravações de 6 atores constituem a base, 3 mulheres e 3
homens. Cada ator pronuncia 98 frases de conteúdo semântico
incoerente, que não predispõem o reconhecimento de
nenhuma emoção. Essa abordagem é apoiada pelos estudos
transculturais realizados por Ekman (1973), indicando as 6
emoções básicas: alegria, aversão, medo, raiva, surpresa e
tristeza, acrescidas da emoção neutro [6, 11]. Assim, há 14
elocuções de cada emoção para cada um dos 6 atores,
YUKIO MANO et al.: IDENTIFYING EMOTIONS IN SPEECH 4779

totalizando 588 gravações.

As features foram extraídas dos sinais de áudio da base e
adotou-se o procedimento descrito na Seção IV. Para a pré-
ênfase dos sinais, utilizou-se um filtro do tipo Finite Impulse
Response (FIR) de primeira ordem, com coeficiente de
memória 0,97 e, para o janelamento do sinal, janelas de
Hamming com duração de 25 ms com 10 ms de sobreposição.
Finalizada a extração de features, obteve-se, no total, um
conjunto de 20.000 instâncias de cada emoção, totalizando
140.000 instâncias rotuladas, de forma que a base de dados
para os experimentos fosse balanceada entre as emoções.
Após a modelagem da base de dados, utilizou-se o Figura 6. Comparação entre o Comitê de Classificação e seus componentes
Framework Weka [18], o qual é amplamente utilizado por em termos de RMSE.
pesquisadores da área de AM. O Weka possui uma coleção de
algoritmos que podem ser aplicados diretamente a um O RMSE é uma métrica comum na avaliação da
conjunto de dados ou chamados a partir de um código Java, performance de classificadores e consiste na raiz quadrada do
ferramentas para pré-processamento de dados, classificação, quociente entre a somatória dos quadrados das diferenças
regressão, clustering, regras de associação e visualização. entre a resposta fornecida pelo modelo e a resposta esperada
Inicialmente, analisou-se o desempenho dos algoritmos para cada instância de teste e o total de instâncias de teste
separadamente por meio de uma técnica de Planejamento e de avaliadas.
Avaliação de Experimentos, chamada train split, e 90% da A análise dos resultados apresentados nas Fig. 5 e Fig. 6
base foi utilizada para treinamento e 10% para testes. Em reforça que a performance do EC é superior, se comparado aos
seguida, os melhores modelos de cada algoritmo foram usados seus componentes individualmente, mas apenas ligeiramente,
para compor o Comitê. Nessa fase, os dados disponíveis foram pois a performance avaliada para os casos de teste está sempre
divididos em 10 conjuntos, para os quais 10 modelos de cada muito próxima do kNN.
algoritmo foram treinados com a técnica half split (split A Tabela II apresenta os valores de acurácia média, de
simples). Portanto, 10 modelos diferentes do Comitê foram RMSE média e de AUC média do Comitê e de cada um de
obtidos e avaliados, sendo possível obter as taxas médias da seus componentes.
acurácia e de erro. A Equação 1 foi utilizada para a
ponderação dos pesos para a decisão final do EC, como visto TABELA II
COMPARAÇÃO DAS ESTASTÍSTICAS DE DESEMPENHO DOS
na seção anterior. ALGORITMOS
Os resultados demonstram que o Comitê proposto
possibilita uma classificação mais precisa do que o uso dos
ACCm var(ACC) RMSEm var(RMSE)
classificadores de maneira isolada (Fig. 5).
kNN 71, 82% 1, 83E-03 1, 42E-02 1, 31E-06

SMO 62, 60% 2, 21E-03 1, 65E-02 1, 08E-06

MLP 58, 33% 1, 72E-03 1, 75E-02 1, 24E-06

Comitê 72, 86% 1, 29E-03 1, 42E-02 1, 20E-006

O Comitê de Classificação proposto neste trabalho

Figura 5. Comparação entre o Comitê de Classificação e seus componentes
em termos de acurácia.
A Fig. 6 apresenta a comparação do Comitê de
Classificação com seus componentes em termos de seus Root-
Mean-Square Error (RMSEs) de teste.
conseguiu melhorar a acurácia média em relação ao melhor
dos classificadores isolados (kNN) em 1,04%, mantendo o
valor médio de RMSE em 1,42E-02. O ganho de pouco mais
de 1% pode parecer pouco atrativo, porém a maior
complexidade de se projetar um sistema de classificação
empregando o conceito de Comitê e o conjunto de features
utilizado demanda muito mais do projetista do que o uso de
um classificador isolado. No entanto, quanto maior o conjunto
de treinamento utilizado, o EC tende a ter uma acurácia
maior, se comparado ao kNN.
Assim, um Comitê de Classificação minimamente bem
projetado, construído respeitando um limite razoável para as
diferenças na performance de seus componentes, consegue
obter resultados melhores do que aqueles de seus componentes
individuais.
4780
VII. CONCLUSÃO
Na área de IHC inúmeros são os métodos, técnicas e
instrumentos que apoiam a avaliação de respostas emocionais,
visto a oportunidade de sistemas computacionais reagirem ao
estado emocional de um indivíduo. Diante disso, este artigo
propõe um modelo utilizando o conceito de EC para a
classificação da emoção baseada na fala do usuário. Assim, o
erro cometido por um classificador é corrigido pela opinião de
todos os outros componentes que compõem o EC. Os
resultados mostram que o Comitê proposto apresenta baixa
dispersão em sua replicação e a mediana da acurácia é
superior aos apresentados pelos respectivos algoritmos que
constituem o modelo proposto (usados individualmente) para
a classificação da emoção.
Ressalta-se que, apesar dos bons resultados obtidos,
acreditamos ser possível aumentar a acurácia de classificação
da nossa proposta. Iremos, então, investigar como trabalhos
futuros: (i) a exploração de outras abordagens para a
identificação da emoção, por exemplo, o Componente de
Tendências Comportamentais – Rede Social; (ii) a exploração
dos resultados de múltiplos sensores para a identificação da
emoção, e; (iii) a investigação de abordagens para otimizar os
valores das ponderações dos classificadores no EC.
AGRADECIMIENTOS
Leandro Mano e Jó Ueyama gostaria de agradecer à
FAPESP (Fundação de Amparo à Pesquisa do Estado de São
Paulo), Processos 2014/10685-3 e 2015/21642-6, 2016/14267-
7 pelo auxílio financeiro em sua pesquisa, assim como à
Office of Naval Research Global pela doação financeira para a
pesquisa do docente.
REFERÊNCIAS
[1] Zhou, Feng, et al. "Affect prediction from physiological measures via
visual stimuli." Inter. Journal of Human-Computer Studies 69.12
(2011): 801-819.
[2] Gonçalves, Vinícius P., et al. "Emoções na interação humano-
computador: um estudo considerando sensores." Proceedings of the
12th Brazilian Symposium on Human Factors in Computing Systems.
Brazilian Computer Society, 2013.
[3] Lichtenstein, Antje, et al. "Comparing two emotion models for deriving
affective states from physiological data." Affect and Emotion in
Human-Computer Interaction. Springer Berlin Heidelberg, 2008. 35-
50.
[4] Bailenson, Jeremy N., et al. "Real-time classification of evoked
emotions using facial feature tracking and physiological
responses." International journal of human-computer studies 66.5
(2008): 303-317.
[5] Peter, Christian, and Bodo Urban. "Emotion in human-computer
interaction."Expanding the Frontiers of Visual Analytics and
Visualization. Springer London, 2012. 239-262.
[6] Mano, Leandro Y., et al. "Exploiting the Use of Ensemble Classifiers to
Enhance the Precision of User's Emotion Classification." Proceedings
of the 16th International Conference on Engineering Applications of
Neural Networks (INNS). ACM, 2015.
[7] Picard, Rosalind W. "What does it mean for a computer to “have”
emotions."Emotions in humans and artifacts (2003): 213-235.
[8] Scherer, Klaus R. "What are emotions? And how can they be
measured?."Social science information 44.4 (2005): 695-729.
[9] Ramakrishnan, S.; El Emary, Ibrahiem MM. Speech emotion
recognition approaches in human computer
interaction. Telecommunication Systems, v. 52, n. 3, p. 1467-1478,
2013.
IEEE LATIN AMERICA TRANSACTIONS, VOL. 14, NO. 12, DECEMBER 2016
[10] Schuller, Björn, et al. "Speaker independent speech emotion
recognition by ensemble classification." 2005 IEEE International
Conference on Multimedia and Expo. IEEE, 2005.
[11] Mano, Leandro Y., et al. "Exploiting IoT technologies for enhancing
Health Smart Homes through patient identification and emotion
recognition."Computer Communications (2016).
[12] Canuto, Anne Magaly de Paula. Combining neural networks and fuzzy
logic for applications in character recognition. Diss. University of Kent
at Canterbury, 2001.
[13] Duda, Richard O., Peter E. Hart, and David G. Stork. Pattern
classification. John Wiley & Sons, 2012.
[14] Fontaine, Johnny RJ, et al. "The world of emotions is not two-
dimensional."Psychological science 18.12 (2007): 1050-1057.
[15] Mahlke, Sascha, and Michael Minge. "Consideration of multiple
components of emotions in human-technology interaction." Affect and
emotion in human-computer interaction. Springer Berlin Heidelberg,
2008. 51-62.
[16] Canuto, Anne Magaly de Paula. Combining neural networks and fuzzy
logic for applications in character recognition. Diss. University of Kent
at Canterbury, 2001.
[17] Duda, Richard O., Peter E. Hart, and David G. Stork. Pattern
classification. John Wiley & Sons, 2012.
[18] Bouckaert, Remco R., et al. "WEKA Manual for Version 3-7-
8." Hamilton, New Zealand (2013).
[19] Costantini, Giovanni, et al. "EMOVO Corpus: an Italian Emotional
Speech Database." LREC. 2014.
[20] Khanchandani, K. B., and Moiz A. Hussain. "Emotion recognition
using multilayer perceptron and generalized feed forward neural
network." Journal of Scientific and Industrial Research 68.5 (2009):
367.
[21] Javidi, Mohammad Masoud, and Ebrahim Fazlizadeh Roshan. "Speech
emotion recognition by using combinations of C5. 0, neural network
(NN), and support vector machines (SVM) classification methods." J.
Math. Comput. Sci 6 (2013): 191-200.
[22] Ekman, Paul. "Cross-cultural studies of facial expression." Darwin and
facial expression: A century of research in review (1973): 169-222.
[23] Furui, Sadaoki. "Digital Speech Processing, Synthesis, and Recognition
(Revised and Expanded)." Digital Speech Processing, Synthesis, and
Recognition (Second Edition, Revised and Expanded) (2000).
[24] Jurafsky, D.; Martin, J. H. Speech and language processing: an
introduction to natural language processing, computational linguistics,
and speech recognition, 2 ed., Pearson Education, 2009. pp 295–302.
ISBN 978-0-13-187321-6.
[25] Eyben, Florian, et al. "Recent developments in openSMILE, the
munich open-source multimedia feature extractor." Proceedings of the
21st ACM international conference on Multimedia. ACM, 2013.
[26] Ciompi, Francesco, et al. "Automatic classification of pulmonary peri-
fissural nodules in computed tomography using an ensemble of 2D
views and a convolutional neural network out-of-the-box." Medical
image analysis 26.1 (2015): 195-202.
[27] Cai, Zhihua, et al. "Classification of lung cancer using ensemble-based
feature selection and machine learning methods." Molecular
BioSystems11.3 (2015): 791-800.
[28] Gonçalves, Vinícius P., et al. "Enhancing intelligence in multimodal
emotion assessments." Applied Intelligence (2016): 1-17.
Leandro Yukio Mano atualmente frequenta o curso de
Doutorado no Programa de Pós-Graduação em Ciências de
Computação e Matemática Computacional do ICMC - USP.
Atuando principalmente nos seguintes temas: Internet das
Coisas (IoT), Interação Humano-Computador (IHC), Heath
Smart Home (HSH), Abordagens Flexíveis e Monitoramento.
Eduardo Santos Medeiros de Vasconcelos atualmente
frequenta o curso de Engenharia de Computação da
Universidade de São Paulo em São Carlos (EESC e ICMC).
Seus principais interesses são Inteligência Artificial,
Neurocomputação, Desenvolvimento de Software e
Processamento Digital de Sinais.
Jó Ueyama é Professor Associado no Instituto de Ciências
Matemáticas e de Computação da Universidade de São Paulo
(ICMC/USP). Jó obteve a sua Livre-docência no ICMC/USP
em junho de 2013 e o seu doutorado na Lancaster University
em Agosto de 2006. Em janeiro de 2016 retornou de sua
licença Sabático na University Southern California, EUA.