Título
A book-oriented chatbot
Autor
Barradas, Nuno Alexandre Mestre
Resumo
pt
A resposta automática a perguntas em língua natural é um tema estudado há largos anos. Tendo
por base os sistemas existentes de resposta a perguntas, quando comparamos a percentagem
de respostas correctas sobre um conjunto de perguntas, geradas a partir de um conjunto de
dados, conseguimos ver que o desempenho está ainda longe de 100%, que muitas vezes é o valor
alcançado quando as perguntas são testadas por humanos.
Este trabalho aborda a ideia de um agente conversacional orientado para livros, mais propriamente um sistema de resposta a perguntas direccionado para responder a perguntas cujo
conjunto de dados seja um ou mais livros. Deste modo, pretendemos adoptar um novo sistema, incorporando dois projectos existentes, o OpenBookQA e o Question-Generation.
Utilizámos dois conjuntos de dados de domínio específico, sem terem sido ainda estudados nos
dois projectos, que foram o QA4MRE e o RACE. A estes aplicámos a abordagem principal:
enriquecê-los com perguntas geradas automaticamente. Corremos uma série de experiências,
treinando modelos de redes neuronais. Deste modo, pretendemos estudar o impacto das perguntas geradas e obter bons resultados de precisão de respostas correctas para os dois conjuntos
de dados.
Os resultados obtidos sugerem que ter uma quantidade significativa de perguntas geradas
num conjunto de dados, conduz a maior precisão de respostas correctas. Tornando claro que,
enriquecer um dataset, sobre um livro, com perguntas geradas sobre esse mesmo livro, é dar ao
dataset o contéudo do livro.
Esta dissertação apresenta resultados promissores, a partir de conjuntos de dados com perguntas geradas automaticamente.
en
The automatic answer to questions in natural language is an area that has been studied for many
years. However, based on the existing question answering systems, the percentage of correct
answers over a set of questions, generated from a dataset, we can see that the performance it
is still far away from to 100%, which is many times the value achieved when the questions are
tested by humans.
This work addresses the idea of a book-oriented Chatbot, more precisely a question answering system directed to answer to questions in which the dataset is one or more books. This way,
we intend to adopt a new system, incorporating two existent projects, the OpenBookQA and
the Question-Generation. We have used two Domain Specific Datasets that were not studied in both project, that were the QA4MRE and RACE. To these we have applied the main
approach: enrich them with automatic generated questions. We have run many experiments,
training neural network models. This way, we intended to study the impact of those questions
and obtain good accuracy results for both datasets.
The obtained results suggest that having a significant representation of generated questions
in a dataset, leads to a higher test accuracy results of correct answers. Becoming clear that,
enrich a dataset, based on a book, with generated questions about that book, is giving to the
dataset the content of the book.
This dissertation presents promising results, through the datasets with automatic generated
questions.