A análise de emoções na
predição do desempenho acadêmico

The analysis of emotions for academic
performance prediction

William Marinho Santos

http://orcid.org/0000-0003-3895-5200

Mestre em Governança, Tecnologia e Inovação.
Universidade Católica de Brasília (UCB). [email-masked]

Helga
Cristina Hedler

http://orcid.org/0000-0002-3510-1624

Doutora em Psicologia Social, do Trabalho e
das Organizações. Universidade Católica de Brasília (UCB). [email-masked]

Edilson
Ferneda

https://orcid.org/0000-0003-4164-5828

Doutor
em Ciência da Computação. Universidade Católica de Brasília (UCB). [email-masked]

Hercules
Antonio do Prado

https://orcid.org/0000-0002-8375-0899

Doutor
em Ciência da Computação. Universidade Católica de Brasília (UCB). [email-masked]

Breno
Giovanni Adaid Castro

https://orcid.org/0000-0002-9856-4263

Doutor
em Administração. Instituto de Educação Superior de Brasília (IESB). [email-masked]

RESUMO

A
identificação de emoções, principalmente nos cursos da modalidade de Educação a
Distância (EAD), pode ser relevante para a gestão do ambiente visando a
melhoria do desempenho acadêmico do aluno. Este estudo tem como objetivo propor
uma ferramenta computacional para a identificação de relações entre emoções
predominantes no ambiente de aprendizado e o desempenho acadêmico dos
estudantes no âmbito da EAD. Para tal, foram utilizadas as interações textuais
em ambientes virtuais de aprendizagem (AVA) ocorridas entre professores e
alunos. Foram utilizadas técnicas de processamento de linguagem natural para
análise de emoções sobre um corpus extraído das bases de dados de um AVA,
complementado por dados de identificação e rendimento obtidos no sistema de
gestão acadêmica. O corpus inicial foi composto por 1602 mensagens, com nível
de granularidade de sentença, trocadas no contexto uma disciplina oferecida em
2019. Destas, foram selecionadas 1347 (84,03%), que puderam ser classificadas
de acordo com a polaridade dos sentimentos (Positivo, Negativo ou Neutro) e
emoções predominantes (Tristeza, Alegria, Medo, Aversão e Raiva). A ferramenta
proposta foi construída sobre as APIs do ambiente de inteligência artificial
Watson da IBM. Essa ferramenta tem o potencial de fornecer a tutores e gerentes
informações úteis para a tomada de decisões e mitigação de possíveis problemas.

Palavras-chave:
análise de emoções; mineração de dados educacionais; desempenho acadêmico.

ABSTRACT

Identification of emotions,
especially in Distance Learning (DL) courses, can be relevant for managers who
seek for improving the student's academic performance. This study aims to
propose a computational tool for the identification of relationships between
predominant emotions in the learning environment and the academic performance
of students in the context of distance learning. For this, textual interactions
in virtual learning environments (VLE) between teachers and students were used.
Natural language processing techniques were used to analyze emotions in a corpus
extracted from the databases of a VLE, complemented by identification and
performance data obtained from the academic management system. The initial
corpus consisted of 1602 messages, with a level of sentence granularity,
exchanged in the context of a discipline offered in 2019. From these, 1347 (84.03%)
were selected, which could be classified according to the polarity of feelings
(Positive, Negative or Neutral) and predominant emotions (Sadness, Joy, Fear, Aversion
and Anger). The proposed tool was built over the APIs from IBM's Watson
artificial intelligence environment. This tool has the potential to provide
tutors and managers with useful information to make decisions to mitigate
potential problems

Keywords: emotion analysis; educational data
mining; academic performance.

Recebido
em 27/09/2021.  Aprovado em 14/11/2021.
Avaliado pelo sistema double blind
peer review. Publicado conforme normas da ABNT.

https://doi.org/10.22279/navus.2022.v12.p01-15.1690

1
INTRODUÇÃO

A ampla
disponibilidade de dados a
partir das interações humanas em plataformas digitais levou a um crescente
interesse por métodos para explorar o conhecimento útil relevante em diversas
áreas, incluindo a Educação (HECKMAN; KAUTZ, 2013; Bobó et al., 2019).
A análise de dados educacionais é cada vez mais usada para subsidiar políticas
e práticas nesta área (GHAZARIAN; KWON, 2015).

A Mineração de Dados Educacionais
(MDE) têm se destacado como ferramenta para apoiar o processo de avaliação e
previsão do desempenho acadêmico, sendo considerados relevantes aspectos que
vão além das habilidades cognitivas (LIPNEVICH; ROBERTS, 2012). Neste sentido,
estados emocionais desempenham um papel importante na formação dos alunos (SUERO-MONTERO,
2014) ou ainda a regulação emocional (ANDRÉS et al., 2017).

Análise de
Sentimentos (AS) “é o campo de estudo que analisa as opiniões, sentimentos,
avaliações, atitudes e emoções das pessoas em relação a entidades como
produtos, serviços, organizações, indivíduos, eventos e seus aspectos” (LIU,
2012). Em particular, a AS em textos ganhou impulso com a difusão das redes
sociais em ambiente Web e vem promovendo o desenvolvimento de métodos
computacionais capazes de
identificar características afetivas em textos (LIU, 2015; MORAIS et al., 2017). Nesse contexto, AS guarda
uma interseção com a área de Processamento de Linguagem Natural (PLN).

No contexto
educacional, esse tipo de análise é capaz de identificar o estado emocional do
aluno durante uma sessão de aprendizagem ou atividade, podendo fornecer ao
tutor - humano ou sistema automatizado - mais recursos para uma melhor
experiência de aprendizagem, de modo, inclusive a influenciar a tomada de
decisão dos tutores no planejamento educacional (SUERO-MONTERO, 2014).

Os fóruns online
tornaram-se uma das ferramentas de comunicação mais utilizadas nos Ambientes
Virtuais de Aprendizagem (AVA) e um fator fundamental do processo de
aprendizagem, especialmente na modalidade de Educação a Distância (EAD), pois,
podem proporcionar uma forma de interação que motiva os estudantes para a busca
e o compartilhamento do conhecimento. Ao se analisar dados relacionados à
participação de alunos em fóruns online com técnicas de mineração de texto, é
possível observar suas atitudes em relação ao curso e seus recursos (KAGKLIS et al., 2015). Além disso, pode-se criar modelos que
caracterizem perfis de comportamento por meio de AS ao longo do tempo e,
finalmente, detectar se e como isso afetou seu
processo de aprendizagem. O conhecimento obtido por essa abordagem pode
fornecer aos tutores informações sobre a estrutura e o conteúdo das mensagens
trocadas pelos alunos, os padrões de interação entre eles e a tendência de
polaridade de sentimentos durante o curso, de modo a subsidiar o processo de
gestão educacional. No entanto, é preciso ter claro que fatores não acadêmicos
também desempenham um papel proeminente na explicação da variação de desempenho
escolar de estudantes, como aqueles mensurados pelo Programme
for International Student
Assessment (PISA) (MENDEZ, 2015).

Mattar, Rodrigues e Graciani (2020), em uma revisão sistemática sobre as
competências e funções dos tutores online, destacam que os estudos têm
apontado: (i) competências gerenciais, (ii) saberes disciplinares, (iii)
saberes pedagógicos, (iv) habilidade de
comunicação, (v) competências socioafetivas e (vi) habilidades
tecnológicas. As funções básicas do tutor em EaD seriam de natureza gerenciais,
pedagógicas e sociais. Bobó et al.
(2019) destacam que os estudos sobre análises de sentimentos têm usado
geralmente as redes sociais ou os fóruns do AVA como fonte de dados para as
suas aplicações. Os AVA trouxeram novas perspectivas para o processo de
ensino-aprendizagem, requerendo dos docentes um olhar inovador, não somente na
forma como se entende a educação, mas principalmente no modo como essa ocorre
na prática. A aplicação da AS nesse contexto abriu novas perspectivas de
pesquisa e aplicação com reflexos tanto na gestão do processo educacional
quanto no próprio desempenho discente.

No contexto
educacional, a detecção imediata de problemas emocionais ou da necessidade de
atenção particular é importante para um feedback imediato e personalizado
(RODRIGUEZ; Ortigosa; CARRO, 2012). O uso de AS a partir de textos produzidos
pelos alunos torna-se menos invasivo do que, por exemplo, por meio de
entrevistas pessoais.

Em suma, o
desenvolvimento de modelos preditivos do desempenho acadêmico a partir da
identificação de manifestações afetivas na dinâmica interativa dos AVA
mostra-se relevante para os atores envolvidos nos processos de
ensino-aprendizagem.

Busca-se aqui
contribuir para a identificação de padrões emocionais de estudantes com base
nas interações textuais em AVA que possam subsidiar a construção de um modelo
preditivo de desempenho acadêmico no âmbito da EAD. O presente estudo combina
teoria e métodos de pesquisa da Psicologia Social e da personalidade humana com
técnicas analíticas de PLN como uma aproximação das emoções encontradas em
textos escritos.

2
REVISÃO DE LITERATURA

Autores como Feng et al. (2017), Tao, Fang (2020), Song et al. (2014) defendem que a
identificação de emoções em atividades virtuais de ensino-aprendizagem deveria
considerar elementos advindos de reconhecimento facial e de fala, juntamente
com os textos produzidos pelo estudante. Imani, Montazer (2020), Gonçalves et al. (2017) reconhecem a importância dos sentimentos e emoções no
desempenho do estudante e propõem sua caracterização com base em dados
relativos à expressão facial, movimentos corporais, gestos, fala e postura
capturados por sensores.

As emoções positivas
trazem confiança para os alunos no aprendizado, e as negativas podem levar ao
desinteresse e à desistência (CUI; GOU, 2019). Wang, Hu e Zhou (2018) apontam que os alunos são
mais propensos a emoções negativas quando encontram dificuldades na
aprendizagem, tendendo a perder o interesse no curso.

A carência de
soluções mais eficientes para a detecção dos estados emocionais em texto nas
redes sociais e AVA tem sido reconhecida pela comunidade de pesquisa (IMANI;
MONTAZER, 2019). Lo et al. (2017) destacam limitações dos algoritmos para a
identificação de sentimentos e emoções em textos informais, que normalmente
contêm abreviações, gírias e palavras em diferentes idiomas, formas bastante
usadas em AVA ou redes sociais. A despeito de algumas divergências entre os autores
em relação à eficácia de alguns métodos de identificação de sentimentos e
emoções, é reconhecida a importância e os benefícios da AS para o aprendizado e
desempenho dos alunos, como por exemplo a detecção das variações de humor, medo
e estresse nas dinâmicas interpessoais entre o professor e o aluno, e entre
este e os seus pares (WEINER,
GRAHAM, 1984; MARQUEZ; ROMERO;
VENTURA, 2010; WANG; HU; ZHOU, 2018).

Na Psicologia, os
termos afeto, emoção e sentimento estão intimamente entrelaçados e muitas vezes
são confundidos. Afeto é um termo mais genérico que engloba tanto emoções
quanto sentimentos (ROBBINS, 2010). As emoções, por sua vez, são expressões
afetivas intensas que emergem em determinadas situações (e.g., ver um amigo
pode despertar o sentimento de felicidade; uma discussão pode levar ao
sentimento de raiva). Normalmente, as emoções são de curta duração e
acompanhadas de reações fisiológicas, tais como choro, aumento de batimentos
cardíacos ou tremor nas pernas. Já sentimentos são estados afetivos menos
intensos, porém mais duradouros do que as emoções e que não requerem um estímulo contextual para se manifestarem. Miguel
(2015, p. 153) complementa que “as emoções não são mais compreendidas como uma
reação única, [...] são uma condição complexa e momentânea que surge em
experiências de caráter afetivo, provocando alterações em várias áreas do
funcionamento psicológico e fisiológico, preparando o indivíduo para a ação”.

Emoções podem se
transformar em sentimentos quando se abstrai a causa que ativou a reação
afetiva. Segundo Robbins (2005, p. 93), a relação entre afeto, emoções e
sentimentos pode ser compreendida da seguinte forma:

•    Afeto:
definido como uma ampla extensão de sensações pelas pessoas, o afeto pode ser
vivenciado na forma de emoções e de sentimentos.

•    Emoções:
são causadas por um evento específico; de breve duração; são específicas e de
várias naturezas (muitas emoções específicas como raiva, medo, tristeza,
aversão ou surpresa); normalmente são acompanhadas de expressões faciais e
reações físicas e, por último, desencadeiam ações.

•    Sentimentos:
geralmente um sentimento não está relacionado a uma causa específica; tem
duração maior que as emoções, são mais gerais (possuem duas dimensões
principais – afetividade positiva e afetividade negativa – que são compostas de
múltiplas dimensões); geralmente não são demonstrados por meio de expressões ou
reações físicas específicas e são de natureza cognitiva.

Nesse sentido, a regulação das emoções
envolve os processos que permitem ao indivíduo monitorar, avaliar e modificar a
natureza e curso de uma emoção, a fim de cumprir seus objetivos e responder de
forma apropriada as demandas do ambiente (ANDRÉS et al., 2017). Entende-se que o desafio está em regular as próprias
emoções para obter o desempenho desejado.

2.1 Modelo
de emoções

Diferentes teorias
científicas tentam explicar a diversidade de fenômenos relativos ao afeto.
Essas teorias originaram três principais modelos de emoções: os modelos
discretos ou categóricos, os dimensionais e os baseados na teoria Appraisal (DOSCIATTI, 2015).

Os modelos discretos
tendem a agrupar as emoções em categorias, partindo do princípio de que as
emoções são independentes. Dentre os modelos discretos, o mais difundido é o
modelo de emoções básicas, proposto por Ekman (1992),
que reconhece seis emoções básicas: alegria, tristeza, raiva, medo, repugnância
e surpresa. De acordo com Libralon (2014), esses
modelos partem do princípio de que as emoções podem ser facilmente
identificadas por meio das expressões faciais. No Quadro 1 são apresentadas outras
propostas de categorização de emoções.

Quadro 1 – Exemplos de
categorização de emoções

Proponente

Categorias

McDougall (1926)

Raiva,
repugnância, alegria, medo e espanto.

Watson (1930)

Medo, amor e raiva.

Arnold (1960)

Raiva, aversão,
coragem, abatimento, desejo, desespero, medo, ódio, esperança, amor e
tristeza.

Mowrer (1960)

Dor e prazer

Izard (1971)

Raiva, desprezo,
repugnância, angústia, medo, culpa, interesse, alegria, vergonha e surpresa.

Plutchik (1980)

Confiança, raiva,
expectativa, repugnância, alegria, medo, tristeza e surpresa.

Gray (1982)

Raiva, terror,
ansiedade e alegria.

Panksepp (1982)

Expectativa, medo,
fúria e pânico.

James (1884)

Medo, dor, amor e
fúria.

Weiner e Graham (1984)

Felicidade e
tristeza.

Fonte: os autores (2021)

Porém,
os comportamentos afetivos não são suficientes e necessários para caracterizar
todos os estados emocionais (PANKSEPP, 1998; KAGAN, 2003). A ansiedade, por
exemplo, pode ser sentida sem qualquer alteração evidente no comportamento; nem
todas as emoções são acompanhadas de expressões faciais (EKMAN, 1993; MIGUEL, 2015).

Os
modelos dimensionais visam descrever a relação existente entre as categorias de
emoções diferenciando-as de acordo com duas ou três características (modelos 2D
ou 3D). Dentre os modelos 2D, o mais difundido é o modelo ‘circumplexo’
de afeto (RUSSELL, 1980), no qual as emoções se inter-relacionam em um círculo
e são representadas em duas dimensões: valência (sentimentos agradáveis versus
desagradáveis) e ativação (desperto versus sonolento). Cada experiência afetiva
é consequência de uma combinação linear dessas duas dimensões que é, então,
interpretada como uma emoção particular.

Os
modelos 3D (PLUTCHIK, 1980) (Figura 1) baseiam-se em um contexto evolucionário
e incluem oito emoções primárias: alegria, tristeza, raiva, medo, repugnância,
surpresa, expectativa e confiança. As emoções posicionadas nos espaços em
branco são a combinação de duas emoções primárias.

Figura
1 – Modelo de emoções de Plutchik.

Fonte: adaptado
de Plutchik (1980)

Os
modelos de emoções baseados na teoria Appraisal
consideram as emoções como resultado de avaliações subjetivas de um determinado
evento ou situação que está acontecendo em um momento específico (LAZARUS,
1991).

Do
ponto de vista computacional, a compreensão das emoções refere-se à capacidade
não apenas de se detectar a informação emocional, mas também armazenar,
processar, construir e manter um modelo emocional do usuário (LIBRALON, 2014).

2.2. Relatos sobre analise de
sentimentos e desempenho acadêmico

Para ilustrar o desenvolvimento das
pesquisas na temática, seguem algumas pesquisas que mostram o desenvolvimento,
os avanços e desafios na área.  Em
pesquisa comparativa entre a análise de sentimentos realizada por diversas
ferramentas analíticas e a análise humana, verificou-se que há diferenças na
categorização da intensidade dos sentimentos por cada método. Assim, “as
ferramentas utilizadas classificaram mais de 40% dos comentários como neutros,
a análise dos autores das mensagens indicou que 71% dos comentários eram
positivos” (MOREIRA et al., 2016, p.
441). Os autores destacam a necessidade de melhoria na acurácia dos métodos.

Andrés et al. (2017), em uma revisão sistemática sobre a regulação
emocional (RE) e o desempenho acadêmico, destacam que as habilidades de RE mais
estudadas está o reconhecimento de emoções, a tolerância ao estres e a
modificação das reações emocionais. A regulação de emoções refere-se aos
processos que permitem à pessoa monitorar, avaliar, modificar a natureza de uma
emoção, com a finalidade de atingir seus objetivos e responder de forma
adequada as demandas do ambiente. Os autores concluíram que os alunos que
conseguem controlar as suas emoções teriam uma vantagem em seu desempenho
quando comparados com aqueles que não conseguem. Concluem também que as
estratégias e habilidades de regulação de emoções apresentam associações
positivas em tarefas de leitura e matemática e em atividades que exigem
competências gerais, como seguir instruções.

Morais et al. (2017) realizaram um mapeamento sistemático de literatura dos
últimos 15 anos na área de computação afetiva no contexto de informática na
educação. Os resultados indicaram que os estados afetivos mais estudos são
emoções, personalidade e humor. Quanto às fontes e ferramentas mais usadas na
detecção dos estados afetivos dos alunos nos trabalhos de pesquisa brasileiros
foram:  o comportamento observável, os
textos e as escalas de personalidade. Ao indagar o que o sistema faz com a
informação da detecção do estado afetivo do aluno verificaram que os sistemas
usam algumas técnicas como agrupar os alunos com base em seu estado afetivo,
expressar emoções por meio de um agente animado, e mensagens motivacionais.
Entretanto, destacam que a maioria dos trabalhos ainda carece de melhor
demonstração empiria dos resultados.

Bobó et al. (2019, p. 254) consideram que o desempenho acadêmico pode
ser afetado diretamente pela análise de sentimentos quando apropriados os seus
achados para o planejamento educacional. Os autores, em mapeamento sistemático
da literatura, trouxeram indicativos sobre o uso da análise de sentimentos na
educação. Dentre os achados destaca-se seu uso em objetivos como: (i)
melhoria do processo ensino-aprendizagem; (ii)
avaliações de docentes, de curso ou de ensino; (iii)
melhoria das funções dos ambientes virtuais de aprendizagem e (iv) compor sistemas de recomendação de conteúdos
educacionais. Além disso, verificaram que a classificação mais usada tem sido uma
com duas escalas de sentimentos (Positivo, Negativo e Neutro; ou Positivo e Negativo).
Os tipos de emoções mais consideradas tem sido raiva, tristeza, medo, alegria,
confusão, tédio e nojo – emoções consideradas negativas e que talvez isso seja
“um indicativo da preocupação dos autores em detectar e sanar problemas ligados
à educação”.

2.3 Análise
de sentimentos

A AS se dedica a
analisar automaticamente estados afetivos a partir de documentos escritos em
linguagem natural, baseados em categorias de emoção. É o campo de estudo que
analisa opiniões, sentimentos, avaliações, atitudes e emoções das pessoas em
relação a entidades e seus atributos expressos de forma textual. A AS é feita a
partir da expressão das emoções e sentimentos das pessoas em linguagem natural.
(LIU, 2015)

Do ponto de vista do
PLN, busca-se captar palavras que expressem emoção com base em um dos três
modelos citados: discretos, dimensionais e baseados na teoria Appraisal. A detecção de emoções é um processo complexo
tanto para o ser humano como para sistemas computacionais. Segundo Liu (2015),
os principais desafios que dificultam a tarefa de AS em textos são:

•    As
emoções, sentimentos e opiniões expressos nos textos são comumente apresentados
de forma subjetiva;

•    Os
textos se apresentam em diferentes formatos e de forma não estruturada;

•    A
maioria dos textos são escritos em uma linguagem informal e muitos contêm
gírias, sarcasmo, ironia e emoticons (ícones de emoções usados na interação em
redes sociais virtuais);

•    Em
alguns casos, os textos apresentam limitação de tamanho, a exemplo do Twitter;

•    Normalmente,
os métodos desenvolvidos são sensíveis ao domínio ou ao idioma.

Para Liu (2015), a
AS em textos pode ser aplicada em três níveis de granularidade: documento,
sentença ou algum aspecto específico em discussão.

A AS pode ser
realizada do ponto de vista do autor, que expressa a emoção e o sentimento nas
palavras do texto, ou dos leitores, que leem o texto e interpretam as emoções e
sentimentos nele contidos. Nesta pesquisa foi adotado o ponto de vista do autor.

2.4 Identificação
de emoções em textos

As
abordagens baseadas em Aprendizagem de Máquina (AM) e em léxico são as mais
utilizadas para solucionar os problemas de AS em textos. A
abordagem baseada em AM está dividida em supervisionada e não supervisionada. O
primeiro caso se aplica quando se tem um conjunto de textos rotulados com os
sentimentos previamente identificados. Na ausência de rótulos, pode-se aplicar
o aprendizado não supervisionado para se tentar identificar conjuntos de
sentimentos afins. Cada modalidade de AM possui diversos algoritmos para a
criação de modelos em função dos dados disponíveis e dos objetivos da
aplicação.

A abordagem baseada em léxico depende da
existência de um conjunto de termos identificados com emoções. Pode ser baseada
em dicionário ou em um corpus[1]. Na
abordagem baseada em dicionário, um pequeno conjunto de termos emocionais é
recolhido manualmente e cada termo possui uma emoção associada. Na abordagem
baseada em corpus, uma lista de termos emocionais sementes é utilizada para
encontrar outros termos emocionais em um grande corpus de domínio (LIU, 2012).

3.
MÉTODO PROPOSTO

Existem
iniciativas de pesquisa para o desenvolvimento de algoritmos mais eficientes
para a detecção de estados emocionais a partir de interações em redes sociais,
em particular, associadas a AVA (LIU, 2010; 2012; 2015). Com o objetivo de
construir um modelo preditivo de desempenho acadêmico no âmbito da EAD a partir
do comportamento emocional de estudantes em um AVA, foi desenvolvida uma
ferramenta de preparação, pré-processamento e processamento dos dados, com
capacidade de interagir com o ambiente Watson, da IBM.

Para
produzir subsídios a um modelo preditivo de desempenho acadêmico, foram
utilizadas (i) técnicas de MDE para coleta e análise de dados
educacionais (GHAZARIAN; KWON, 2015), (ii) PLN
para isolar, quantificar e descrever de forma qualificativa as emoções
encontradas em textos escritos pelos alunos e (iii)
Regressão Linear Múltipla para a predição do desempenho acadêmico dos
alunos (YANG et al., 2018).

Os
métodos aplicados na análise a ser realizada pela ferramenta consistem das
seguintes etapas:

Compreensão do domínio do problema. Essa
etapa inicial envolve pensar cuidadosamente sobre o cenário de uso, entender o
problema a ser resolvido e determinar os objetivos do projeto. Esses objetivos
são estruturados em uma ou mais subtarefas da Ciência de Dados (CD) e, assim, a
seleção inicial das ferramentas do CD (por exemplo, classificação e estimativa)
pode ser realizada em etapa posterior do processo. Após isto, uma descrição do
domínio do problema é gerada.

Coleta e compreensão dos dados.
Esta etapa inclui a coleta dos dados disponíveis e a decisão de quais serão
necessários (eg, remetente e destinatário da
mensagem, data e hora da postagem e conteúdo da mensagem). Nesta pesquisa
optou-se por analisar os registros (log) da interação entre professor ou
tutor e alunos no AVA a fim de produzir inferências sobre os estados emocionais
detectados e as avaliações de desempenho acadêmico registradas no Sistema de
Gestão Acadêmica (SGA). Portanto, o estudo se baseará em duas fontes de dados:
o SGA (para gerar perfis de alunos, com as médias de notas obtidas) e o AVA
(para avaliar os logs da atividade do usuário em cursos, fóruns e grupos).

Preparação dos dados. Essa
etapa envolve manipular e converter os dados brutos em formatos adequados que
atendam aos requisitos de entrada específicos para as ferramentas de CD. Por
exemplo, algumas técnicas de CD são projetadas para dados categóricos, enquanto
outras tratam apenas valores numéricos. Exemplos típicos de manipulação incluem
conversão ou transformação de dados em diferentes tipos ou a derivação de novos
atributos. Os resultados são geralmente convertidos em um formato tabular para
a próxima etapa (CIOS et al., 2007).
Para esta pesquisa realizaram-se sete tarefas de pré-processamento: (i)
conversão dos dados para o formato apropriado; (ii)
agregação / integração de dados de diferentes fontes; (iii)
limpeza de dados, com a detecção e tratamento de dados faltantes,
inconsistentes ou irrelevantes; (iv) identificação
de professores e alunos; (v) seleção de atributos / variáveis,
escolhendo um subconjunto relevante; (vi) amostragem; e (vii) transformação de dados, com a derivação de novos
atributos.

Identificação de emoções e sentimentos. Nesta etapa, os textos são
apresentados à ferramenta de análise, que retorna os textos agora rotulados com
os respectivos sentimentos e emoções. Entretanto, para algumas frases, a
ferramenta não consegue associar emoções ou sentimentos.

Avaliação do conhecimento
descoberto. A
etapa de avaliação do conhecimento considera apenas as frases rotuladas. É
feito um tratamento que identifica as emoções mais relevantes que, em conjunto,
são mapeadas em sentimentos. As emoções obtidas são então comparadas com o
rendimento acadêmico do estudante, buscando as emoções mais relacionadas com
cada grupo de desempenho.

Aplicação. O
objetivo desta etapa é utilizar as relações entre emoções e rendimento
acadêmico observadas na etapa anterior para a criação de um modelo preditivo
para suporte à gestão. A ideia é que os gestores, de posse de informações sobre
a interação dos alunos no AVA, possam predizer seus desempenhos e orientar
ações de mitigação ou incentivo. No entanto, é importante observar que
barreiras como resistência individual e de grupo à inovação e mudança podem dificultar
a aplicação do modelo (Romero e Ventura; 2010).

4 FERRAMENTA DE MINERAÇÃO DE TEXTO

O
escopo da ferramenta desenvolvida para essa pesquisa contempla basicamente o
processamento dos arquivos da instituição observada, com foco na análise de
sentimentos e emoções das interações entre professor e aluno (Figura 2).

Figura 2 – Diagrama de funcionamento da ferramenta de
mineração de texto

Fonte: os autores (2021)

Para
a realização das análises de dados, foi implementada uma ferramenta para
Mineração de Textos, aplicando-se o modelo de processo para a descoberta de
conhecimento proposto por Cios et al. (2007). A ferramenta foi desenvolvida para ser executada no
Sistema Operacional Windows, foi
implementada em linguagem de programação C# (C Sharp), utilizando o ambiente de desenvolvimento integrado Microsoft Visual Studio 2017 (Community Edition)
e bibliotecas de código do .NET Framework
4.7.2.

Foram
utilizadas também as bibliotecas EPPlus, para geração
dos resultados em planilhas eletrônicas (folhas de cálculo) no formato Microsoft
Excel, assim como a biblioteca RestSharp para consumo de serviços web, utilizando o Protocolo de Transferência de Hipertexto (HTTP) e
o padrão de arquitetura de software
Transferência Representacional de Estado (REST) e formato de troca de dados Notação
de Objeto Javascript (JSON).

Para
identificação de sentimentos por meio de textos existem disponíveis no mercado
diversas Interface de Programação de Aplicativos (API), porém para
identificação de emoções por meio de textos, comercialmente, temos apenas a API
Got It AI[2]
e a API IBM Watson Tone Analyzer[3].
A fim de determinar a API mais adequada aos objetivos da pesquisa, realizamos
um teste com algumas frases já classificadas na pesquisa de Dosciatti
(2015), cujo corpus utilizado foi construído com textos extraídos de notícias
do site www.globo.com.
A metodologia utilizada para determinar a API mais eficiente foi identificar as
emoções em cada sentença do texto, em seguida, calcular a média dos seus
escores, eleger a emoção de maior pontuação como predominante no texto, e, por
fim, comparar com o resultado encontrado na pesquisa de Dosciatti
(2015) para as mesmas frases. Com base nesse critério a API IBM Watson Tone Analyzer foi a
escolhida, pois apresentou 60% de assertividade enquanto a API Got It AI somente 40%.

Os métodos e
materiais aplicados na análise a ser realizada pela ferramenta compõem as fases
de: (i) Pré-processamento (preparação dos dados) e (ii) Processamento (identificação de emoções e sentimentos).
As etapas de compreensão do domínio do problema, coleta e compreensão
dos dados, avaliação do conhecimento descoberto e aplicação não
são contempladas na ferramenta.

4.1 Pré-processamento

Em projetos de análise
de sentimentos a partir em textos, a fase de pré-processamento é uma faz
crítica (HADDI; LIU; SHI, 2013).
Para esta fase, são necessárias as notas de avaliações dos alunos de uma
disciplina, bem como dos logs da interação destes com outros alunos e
com o professor disponíveis no AVA. Com base na análise do conteúdo das
mensagens trocadas e do resultado das notas, foi selecionada uma disciplina ofertada
em um semestre para realização do estudo. Nesta fase, a ferramenta avalia a
estrutura dos arquivos disponibilizados e os converte conversão para texto puro
(livre de elementos não textuais como emoticons).

A limpeza de dados é
realizada por meio de uma funcionalidade, disponível na ferramenta, para
leitura dos arquivos texto e retirada de caracteres especiais. A funcionalidade
identifica também a cadeia de caracteres ou de palavras que define os limites
das postagens dos alunos nos fóruns do AVA. Foi implementada uma funcionalidade
que agrega os dados de notas dos alunos e respectivas postagens.

4.2 Processamento

Após a agregação, as
sentenças são submetidas a uma API (IBM Watson Language
Translator) para conversão do idioma antes de
realizar a análise de emoções e sentimentos, visto que essa análise é feita
apenas na língua inglesa. A API de AS, IBM Watson Tone
Analyzer, utiliza a abordagem baseada em
aprendizagem de máquina supervisionada, que implementa o algoritmo Support Vector Machine[4]. Assim como qualquer outro serviço de AS
disponível no mercado, o funcionamento da API consiste basicamente em realizar:
segmentação, tokenização, previsão de classes gramaticais, lematização, apontar
as “stopwords”, analisar as dependências, encontrar
palavras sintaticamente relacionadas e realizar o reconhecimento de entidades
nomeadas.

O resultado do
processamento é a geração de arquivos no formato de planilha de dados (XLSX)
com as colunas: código do aluno, nota avaliativa, identificação de cinco
emoções básicas segundo Ekman (1992) (Tristeza,
Alegria, Medo, Aversão e Raiva) por frase e polarização do sentimento (Positivo,
Negativo e Neutro) para realização da análise e realização de cálculo de
correlação.

5 RESULTADOS
E DISCUSSÃO

A partir do seu SGA, a instituição
educacional, foco da pesquisa, forneceu uma planilha com as notas das
avaliações (em formato XLSX), bem como os logs da interação entre
professor e alunos no AVA (Moodle), em formato não estruturado (DOCX). Após análises
exploratórias do conteúdo das mensagens trocadas (logs) e das notas,
foram selecionados para estudo os dados das disciplinas Análise e Projeto de
Software, oferecida no 1º e 2º semestres de 2019 por um mesmo professor. Dos 72
alunos da disciplina, apenas 49 possuíam notas de avaliação e que tivessem tido
alguma interação durante o curso. Foram obtidas 1602 mensagens com nível
de granularidade de sentença (LIU, 2015). Destas sentenças, 1347 (84,03%) puderam
ser classificadas de acordo com a polaridade dos sentimentos (positivo,
negativo ou neutro) e emoções predominantes (tristeza, alegria, medo, aversão e
raiva).

Ao analisar todas as
sentenças classificadas por meio da análise de sentimentos, observou-se que
60,43% eram neutras, 28,73% positivas e 10,84% negativas. Nas análises de
emoções foram avaliadas as mensagens dos alunos e do professor utilizando como
critério a média dos escores para cada emoção, destacando-se a emoção
predominante.

Em uma primeira
observação, o resultado da emoção predominante dos alunos como um todo foi a
alegria (24,56%), seguida pela tristeza (20,92%), raiva (7,87%), medo (5,37%) e
aversão (4,78%). Outra observação relevante foi a análise da emoção predominante
nas mensagens do professor, nas quais também prevaleceu a alegria (24,63%),
seguida por tristeza (18,03%), raiva (8,52%), aversão (6,23%) e medo (6,17%).
Assim, a emoção predominante foi “alegria” tanto na análise da turma quanto do
professor.

Segundo Cui e Gou (2019), as emoções
positivas podem fazer com que os alunos se sintam satisfeitos e tenham grande
confiança no aprendizado. Porém, de acordo com Wang, Hu e Zhou (2018), é importante também dar
atenção às emoções negativas, pois estas podem indicar que o aluno está
propenso a perder o interesse pelo curso. Além disso, essas emoções negativas podem
provocar irritação nos alunos, fazendo com que percam o interesse pelo aprendizado.
Tão importante quanto saber quais são os alunos com emoções positivas é conhecer
aqueles com traços de tristeza e outras emoções negativas, a fim de evitar
desempenho insatisfatório ou mesmo evasão.

Para verificar uma
possível relação entre as emoções predominantes e o desempenho acadêmico, a
classe foi dividida em dois grupos distintos: um formado por alunos com
desempenho acima do esperado (Grupo A – rendimento superior ou igual a 70%),
somando 40 estudantes (81,43% dos alunos), e outro (Grupo B) com desempenho
abaixo do esperado (rendimento abaixo de 70%), totalizando nove estudantes (18,57%
do total).

Considerando o
estado emocional positivo predominante no professor e que parte significativa
dos alunos (Grupo A) apresentou rendimento acima do esperado, pode-se
conjecturar, ainda que fracamente, a existência de uma relação positiva entre
essas duas situações. Ao analisar a predominância do estado emocional positivo
“alegria”, com 25,54%, (frente 20,39% “de tristeza”) dos alunos do Grupo A e negativo
“tristeza”, com 23,27%, (frente a 20,21% de “alegria”) dos alunos do Grupo B,
pode-se supor que exista uma relação entre o estado emocional dos alunos e o
desempenho acadêmico.

Após a análise de
emoções e sentimentos foram realizados cinco ensaios estatísticos, baseados em
Regressão Linear Múltipla, visando explorar outras variáveis que pudessem estar
relacionadas com o rendimento acadêmico dos alunos. Assim, a variável dependente
em todos os ensaios foi Nota obtida. Os resultados obtidos são
apresentados nas Tabelas 1 (Estatística de regressão) e 2 (Significância).

Tabela
1 – Resultados obtidos (Estatística de regressão)

Grupo
B

Grupo
A

Ensaio
1

Ensaio
2

Ensaio
3

Ensaio
4

Ensaio
5

R múltiplo

0,46

0,44

0,23

0,23

0,03

R-Quadrado

0,21

0,19

0,05

0,05

0,00

R-quadrado ajustado

-0,31

-0,33

-0,02

0,01

-0,03

Erro padrão

2,68

2,71

2,44

2,39

2,46

Observações

6

6

27

27

27

Fonte: os autores (2021)

Tabela 2 –
Resultados obtidos (Significância)

Coeficientes

Erro
padrão

Stat
t

valor-P

95%
inferiores

95%
superiores

Ensaio
1 (Grupo
B)

Interseção

5,00

5,14

0,97

0,40

-11,36

21,37

Total de palavras escritas

0,01

0,014

0,76

0,49

-0,03

0,05

Score da emoção
"Tristeza"

7,48

11,14

0,67

0,55

-27,98

42,94

Ensaio
2 (Grupo
B)

Interseção

5,043

5,31

0,94

0,41

-11,86

21,95

Média de palavras escritas

0,24

0,34

0,72

0,52

-0,84

1,34

Score da emoção
"Tristeza"

1,45

11,81

0,12

0,90

-36,13

39,05

Ensaio
3
(Grupo A)

Interseção

20,35

2,41

8,43

1,21

15,37

25,33

Número de mensagens

-0,01

0,05

-0,17

0,86

-0,12

0,10

Score da emoção
"Alegria"

-7,66

6,51

-1,17

0,25

-21,10

5,77

Ensaio
4
(Grupo A)

Interseção

20,08

1,79

11,20

3,07

16,39

23,77

Score da emoção "Alegria"

-7,32

6,09

-1,20

0,24

-19,87

5,22

Ensaio
5
(Grupo A)

Interseção

17,82

1,09

16,30

7,82

15,57

20,07

Número de mensagens

0,01

0,05

0,18

0,85

-0,10

0,12

Fonte:
os autores (2021)

Ensaio
1 (desempenho dos alunos do Grupo B). Nesse ensaio, foram utilizadas como
variáveis independentes o Score da emoção “Tristeza” e o Total de
palavras escritas. A partir das variáveis independentes obteve-se um R-quadrado ajustado de
-0,31. Portanto, a explicação da Nota
obtida por essas variáveis independentes, com seis observações, não
resultou significância estatística.

Ensaio
2 (desempenho dos alunos do Grupo
B). Aqui, foram consideradas as variáveis independentes Score da emoção “Tristeza” e Média de palavras escritas. Observa-se
que o modelo utilizando essas variáveis apresentou um R-quadrado ajustado de
-0,33. A explicação da Nota obtida pelas variáveis independentes
consideradas com 6 observações não resultou significância estatística.

Ensaio
3 (desempenho dos alunos do Grupo A).
Para o terceiro ensaio foram alterados os critérios de seleção de alunos e as
variáveis preditoras. Foram considerados os alunos do Grupo A e as variáveis
independentes Score da emoção “Alegria” e Número de mensagens. Observa-se
que o modelo criado com essas variáveis independentes apresentou um R-quadrado
ajustado de -0,02. Mais uma vez, a explicação da Nota obtida por essas
variáveis, agora com 27 observações, não apresentou significância estatística.

Ensaio
4 (desempenho dos alunos do Grupo A).
Para o quarto ensaio foi utilizada somente a variável Score da emoção “Alegria”.
Observa-se que o modelo com esta variável apresentou um R-quadrado ajustado de
0,01. Assim como nos ensaios anteriores não se observou correlação entre a
variável independente (Score da emoção “Alegria”) e Nota obtida.

Ensaio 5 (desempenho dos alunos do
Grupo A). No último ensaio foi analisada a relação entre as variáveis número
de mensagens e nota obtida. Observa-se
que o modelo com estas variáveis apresentou um R-quadrado ajustado de -0,03,
não evidenciando a existência de correlação entre as variáveis.

As significâncias
obtidas em todos os modelos indicam que o modelo de regressão não é
significativo. Contudo o objetivo de contribuir para elaboração de um modelo
preditivo por meio da identificação da existência de correlação entre as
variáveis observadas foi atingindo, pois, a detecção das emoções dos alunos nas
interações via texto pode se tornar relevante quando combinados com outras
variáveis. É razoável supor que tais resultados se devam ao reduzido tamanho da
amostra, o que pode ser contornado em estudos futuros.

4
CONCLUSÃO

Analisando-se as
porcentagens dos sentimentos dos alunos em extremos, pode-se notar a influência
destes no sucesso acadêmico. Observou-se que a relação entre sentimento
positivo e aprendizado, tanto por parte do tutor quanto por parte do aluno,
pode influenciar o desempenho acadêmico do aluno. O mesmo pode ser observado
com relação ao sentimento do tutor. Embora esse estudo não confirme essas relações
de forma categórica, pode-se esperar que um modelo preditivo possa ser
alcançado a partir de uma população maior.

Por fim, os
resultados obtidos em relação a análise de sentimentos foram satisfatórios e
suficientes para mostrar que a ferramenta proposta funcionaria bem em contextos
reais de utilização. Contudo, como trabalhos futuros sugere-se repetir o estudo
para uma amostra de dados maior, com a aplicação de novas técnicas de
aprendizagem.

REFERÊNCIAS

ANDRÉS, María L. A.; STELZER, Florencia;
JURIC, Lorena C.; INTROZZI, Isabel; RODRIGUEZ-CARVAJAL, Raquel; GUZMÁN, Jossé I. N. Regulación Emocional
y Desempeño Académico: revision
sistemática de sus relaciones empíricas. Psicologia
em Estudo, v. 22, n. 3, p. 299-311, 2017. https://doi.org/10.4025/psicolestud.v22i3.34360

ARNOLD, Magda B. Emotion and personality. Vol. I. Psychological aspects. New York: Columbia
University Press, 1960.

BOBÓ, Míria; CAMPOS,
Fernanda; STRÖELE, Victor; BRAGA, Regina; DAVID, José
M. N. Análise de Sentimento
na Educação: Um Mapeamento Sistemático da
Literatura. CONGRESSO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (CBIE), 30., SIMPÓSIO
BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE).Brasília. Anais [...]. SBC: Brasília, 2019. p. 249-258.
https://doi.org/10.5753/cbie.sbie.2019.249

CIOS, Krzysztof J.; PEDRYCZ, Witold; SWINIARSKI, Roman W.; KURGAN, Lukasz A. Data mining: a knowledge discovery approach. Boston: Springer
Science & Business Media, 2007, p. 9-24.

CUI, Q.; GOU, J. Review of Online Learning
Behavior Analysis. INTERNATIONAL
CONFERENCE ON ECONOMY, JUDICATURE, ADMINISTRATION AND HUMANITARIAN PROJECTS (JAHP 2019), 4.,  Proceedings
[...]. Kaifeng, China: Atlantis Press, 2019. p.
2352-5428.

DOSCIATTI, Mariza M. Um método para a
identificação de emoções básicas em textos em português do Brasil usando
máquinas de vetores de suporte em solução multiclasse.
2015. 225 f. Tese (Doutorado) - Curso de Informática, Programa de Pós-Graduação
em Informática, Pontifícia Universidade Católica do Paraná, Curitiba, 2015.

EKMAN, Paul. An argument for basic emotions. Cognition and Emotion, v. 6, n. 3-4, p. 169-200, 2008. https://doi.org/10.1080/02699939208411068

FENG, Shi; WANG, Yaqi; SONG, Kaisong; WANG, Daling; YU, Ge. Detecting Multiple Coexisting Emotions in
Microblogs with Convolutional Neural Networks. Cognitive Computation, v. 10, n. 1, p. 136-155, 2017. http://dx.doi.org/10.1007/s12559-017-9521-1.

GHAZARIAN, Peter G.;
KWON, Sung-Ho. The future of American education: Trends, strategies, &
realities. Philosophy of Education, v. 56, p. 147-177, 2015.

GONÇALVES, Vinícius P.; COSTA, Eduardo P.; VALEJO, Alan; R. FILHO,
Geraldo P.; JOHNSON, Thienne M.; PESSIN, Gustavo;
UEYAMA, Jó. Enhancing intelligence in multimodal
emotion assessments. Applied Intelligence, v. 46, n. 2, p. 470-486, 2016. http://dx.doi.org/10.1007/s10489-016-0842-7.

GRAY, Jeffrey A. The
neuropsychology of anxiety: An enquiry into the functions of the septo-hippocampal
system. Clarendon Press/Oxford University Press, 1982.

HADDI, Emma; LIU, Xiaohui; SHI, Yong. The Role of Text Pre-processing in
Sentiment Analysis. Procedia Computer Science, v. 17, p. 26-32, 2013. http://dx.doi.org/10.1016/j.procs.2013.05.005

HECKMAN, James;
KAUTZ, Tim. Fostering and Measuring Skills: interventions that improve
character and cognition. National Bureau of Economic Research, v. 19656, n. 1, p. 1-122, 2013.
http://dx.doi.org/10.3386/w19656.

IMANI, Maryam;
MONTAZER, Gholam Ali. A survey of emotion
recognition methods with emphasis on E-Learning environments. Journal of Network and Computer Applications, v. 147, p.
102423, 2019. http://dx.doi.org/10.1016/j.jnca.2019.102423

IZARD, Carroll E. The face of emotion. New York: Appleton-Century Crofts, 1971.

JAMES II, William. What is an Emotion? Mind, v. 9, n. 34, p. 188–205, 1884.

KAGAN, Jerome. Behavioral
inhibition as a temperamental category. In: DAVIDSON, R. J.;
SCHERER, K. R.; Goldsmith, H. H. (Eds.).
Handbook of affective sciences. Series in Affective Science. New
York: Oxford University Press. 2003, p. 320-331.

KAGKLIS, Vasileios; KARATRANTOU, Anthi; TANTOULA, Maria;
PANAGIOTAKOPOULOS, Christos T.. A Learning Analytics Methodology for Detecting Sentiment in Student
Fora: A Case Study in Distance Education. European Journal of Open, Distance and e-Learning, v. 18, n. 2, 2015.

LAZARUS, Richard S. Emotion and adaptation. New York:
Oxford University Press, 1991.

LIBRALON, Giampaolo L. Modelagem
computacional para reconhecimento de emoções baseada na análise facial.
2014. 196 f. Tese (Doutorado) – Programa de Pós-graduação em Ciências de
Computação e Matemática Computacional, Instituto de Ciências Matemáticas e de
Computação, Universidade de São Paulo, São Carlos, 2014. https://doi.org/10.11606/T.55.2014.tde-10042015-104538

LIPNEVICH, Anastasiya A.;
ROBERTS, Richard D. Noncognitive skills in education: emerging research and
applications in a variety of international contexts. Learning And
Individual Differences, v. 22, n. 2, p. 173-177, 2012. Elsevier BV. http://dx.doi.org/10.1016/j.lindif.2011.11.016

LIU, Bing. Sentiment
Analysis and Subjectivity. In: INDURKHYA, N.;
DAMERAU, F. J. (eds.). Handbook of Natural
Language Processing. 2. ed. CRC Press,
2010. p. 627-666.

LIU, Bing. Sentiment
Analysis and Opinion Mining. Synthesis Lectures On Human Language
Technologies, v. 5, n. 1, p. 1-167, 2012.
http://dx.doi.org/10.2200/s00416ed1v01y201204hlt016.

LIU, Bing. Opinions,
Sentiment and Emotion in Text: mining opinions, sentiments and emotions.
New York: Cambridge University Press, 2015.

LO, Siaw Ling; CAMBRIA,
Erik; CHIONG, Raymond; CORNFORTH, David. Multilingual sentiment analysis: from
formal to informal and scarce resource languages. Artificial
Intelligence Review, v. 48, n. 4, p. 499-527, 2016. http://dx.doi.org/10.1007/s10462-016-9508-4.

MARQUEZ, Carlos; ROMERO, Cristóbal; VENTURA, Sebastian. Predicting School Failure Using Data Mining. In INTERNATIONAL
CONFERENCE ON EDUCATIONAL DATA MINING, 4.
Proceedings... Eindhoven, The Netherlands, July 6-8, 2011, 2010.

McDOUGALL, William. An Introduction to Social Psychology.
Boston: John W. Luce & Co., 1926.

MENDEZ, Ildefonso. The
effect of the intergenerational transmission of noncognitive skills on student
performance. Economics Of Education Review, v. 46, p. 78-97, 2015. http://dx.doi.org/10.1016/j.econedurev.2015.03.001

MIGUEL, Fabiano K. Psicologia das emoções: uma proposta
integrativa para compreender a expressão emocional. Psico-USF, v. 20, n. 1, p.
153-162, 2015.

MORAIS, Felipe
de, SILVA, Juarez da, REIS, Helena, ISOTANI, Seiji,
JAQUES, Patricia. Computação Afetiva aplicada à
Educação: uma revisão sistemática das pesquisas publicadas no Brasil. CONGRESSO
BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (CBIE) / SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), Anais...,. 2017. pp. 163-172. http://dx.doi.org/10.5753/cbie.sbie.2017.163

MOREIRA, Vanessa de S.; SIQUEIRA, Sean W.; ANDRADE,
Leila; PIMENTEL, Mariano. Análise de Sentimentos: Comparando o uso de
ferramentas e a análise humana. BRAZILIAN SYMPOSIUM
ON INFORMATION SYSTEMS, 12. Anais…, Florianópolis,
maio 17-20, 2016.

MOWRER, O. Hobart. Learning theory and
behavior. New York: Wiley, 1960.

PANKSEPP, Jaak. Affective
neuroscience: The foundations of human and animal emotions. Series in affective science. Oxford
University Press. 1998,

PLUTCHIK, Robert. A general psychoevolutionary theory of emotion. In: PLUTCHIK, R. Theories of emotion.
Academic Press, 1980. p. 3-33.

RIBEIRO, Ralph B. S.; CARVALHO, Leandro S. G.
de; OLIVEIRA, Elaine H. T. de; OLIVEIRA, David B. F. de; PESSOA, Marcela S. P.
Investigação Empírica sobre os Efeitos da Gamificação de um Juiz Online em uma
Disciplina de Introdução à Programação. Revista Brasileira
de Informática na Educação, v. 28, p. 461-490, 2020. http://dx.doi.org/10.5753/rbie.2020.28.0.461

ROBBINS, Stephen P.
Emoções e Sentimentos. In: ROBBINS,
Stephen P. Comportamento Organizacional: teoria e prática
no contexto brasileiro. 14. ed. São Paulo:
Pearson Prentice Hall, 2010. Cap. 4. p. 91-124.

Rodriguez, Pilar; Ortigosa,
Alvaro; CARRO, Rosa M. Extracting Emotions from Texts in E-Learning
Environments, INTERNATIONAL CONFERENCE ON COMPLEX, INTELLIGENT, AND SOFTWARE
INTENSIVE SYSTEMS. 6. Proceedings…, 2012, pp. 887-892, http://dx.doi.org/10.1109/CISIS.2012.192

RUSSELL, James A. A
circumplex model of affect. Journal Of Personality And Social Psychology, v. 39, n. 6, p. 1161-1178, 1980. http://dx.doi.org/10.1037/h0077714

SONG, Ge ; YE,
Yunming; DU; Xiaolin; HUANG, Xiaohui. Short Text Classification: a survey. Journal Of Multimedia, v. 9, n. 5, p. 635-643, 2014. http://dx.doi.org/10.4304/jmm.9.5.635-643

SUERO-MONTERO,
Calkin; SUHONEN, Jarkko. Emotion analysis meets learning analytics: online
learner profiling beyond numerical data. In:  KOLI CALLING INTERNATIONAL
CONFERENCE ON COMPUTING EDUCATION RESEARCH. 14. Proceedings… 2014. p.
165-169.

TAO, Jie; FANG, Xing. Toward multi-label sentiment analysis: a
transfer learning-based approach. Journal of Big Data, v. 7, n. 1, p. 1-26, 2020. http://dx.doi.org/10.1186/s40537-019-0278-0

WANG, Ling; HU,
Gongliang; ZHOU, Tiehua. Semantic analysis of learners’ emotional tendencies on online MOOC
education. Sustainability, v. 10, n. 6, 1921, 2018. http://dx.doi.org/10.3390/su10061921

WATSON, John B. Behaviorism. Chicago: University of Chicago Pres, 1930.

WEINER, Bernard; GRAHAM,
Sandra. An attributional approach to emotional development. In: IZARD, C.;
KAGAN, J.; ZAJONC, R. (Eds.), Emotion, cognition and behavior. Cambridge, MA: Cambridge University Press, 1984.
pp. 167-191.

[1] Corpus é
uma coletânea de textos que esteja em formato eletrônico em certo idioma.

[2]
https://gotit.ai/en-us/Home/Sentiment

[3]
https://www.ibm.com/demos/live/natural-language-understanding/self-service/home

[4]
https://mediacenter.ibm.com/media/Support+Vector+Machine+%28SVM%29/0_vt4iyv5i