O papel das representações vetoriais de palavras na pontuação automática de ensaios: uma abordagem baseada em deep learning no contexto de learning analytics

Abstract

A quite recent development in Machine Learning, Deep Learning is having a huge impact in Data Analytics, virtually replacing Artificial Neural Network for classification, regression and time series forecasting tasks. The motivation for the work herein presented derives from the question: What impact if any is Deep Learning making in Learning Analytics and Educational Data Mining? In order to answer this question a systematic review of the literature was carried out. It managed to identify and document the very first applications of Deep Learning in these areas and the quite fast increase of related publications in the second half of the current decade. The review also documented the main tasks in Learning Analytics and Educational Data Mining that can benefit from this new approach, namely multimodal learning analytics and, more generally, any Learning Analytics or Educational Data Mining task that can be modeled as a supervised learning task where raw, unprocessed data is available. In order to develop a Learning Analytics application in this guise, an experiment in automated essay scoring was developed. The architecture used for the experiment was the stacked bidirectional LSTM. An innovative aspect of the experiment was to study the effect of different word embedding techniques has on the learning of the task.

Um desenvolvimento relativamente recente na área de Aprendizagem de Máquina, Deep Learning tem tido um impacto muito grande em Analítica de Dados, praticamente substituindo Redes Neurais Artificiais nas tarefas relacionadas a classificação, regressão e previsão de séries temporais. A motivação do trabalho vem da interrogação a respeito dos possíveis impactos de Deep Learning nas áreas de Analítica de Aprendizagem e Mineração de Dados Educacionais. No sentido de responder a essa pergunta, foi feita uma revisão sistemática de literatura que identificou e documentou as primeiras aplicações de Deep Learning nessas áreas e o crescimento acelerado das publicações relacionadas ao longo da segunda metade da década corrente. A revisão também documentou as principais tarefas de Analítica de Aprendizagem e Mineração de Dados Educacionais às quais Deep Learning tem sido aplicada e identificou duas novas vertentes de pesquisa que podem se beneficiar dessa nova abordagem: Analítica de Aprendizagem Multimodal e, mais geralmente, qualquer tarefa de Analítica de Aprendizagem ou Mineração de Dados Educacionais que possa ser modelada com uma tarefa de aprendizagem supervisionada na qual dados brutos, não processados, estejam disponíveis. No intuito de desenvolver uma aplicação em Analítica de Aprendizagem nessa direção, foi feito um experimento voltado à pontuação automática de ensaios. A arquitetura de Deep Learning usada no experimento foi a rede LSTM bidirecional empilhada. Um aspecto inédito do experimento foi o estudo do efeito que teria na facilidade de aprendizado da tarefa a forma de se representar as palavras no ensaio, por meio de diferentes codificações vetoriais contínuas.