Authors:

Autores

Person role Person
7090
3130,250,2315
7091
3130,250,2315
7092
3130,250,2315

Informations:

Pesc publication

Title
Word Embeddings-Based Transfer Learning for Boosted Relational Dependency Networks
Research area
Artificial Intelligence
Publication type
Master's thesis
Identification Number
Date
12/23/2021
Resumo

Algoritmos de aprendizado de máquina têm obtido sucesso nas mais diversas áreas de aplicação. Porém, os métodos tradicionais assumem dados independentes e identicamente distribuídos (i.i.d.), desprezando a estrutura relacional dos dados, que contém informações cruciais sobre como objetos participam de relações e eventos. Dentre os algoritmos de aprendizado de máquina, os modelos de aprendizado estatístico consistem em uma representação concisa das dependências probabilísticas entre atributos de um objeto. O aprendizado estatístico relacional estende aprendizado estatístico para representar e aprender a partir de dados contendo diferentes objetos e como estes se relacionam. Apesar de não seguirem a suposição i.i.d., também assumem que dados de treinamento e teste seguem a mesma distribuição. Para lidar com cenários em que os dados têm diferentes distribuições, surgiu a transferência de aprendizado, que consiste em usar o conhecimento adquirido em uma ou mais tarefas já resolvidas como um ponto de partida para resolver uma nova tarefa. Para aplicar transferência de aprendizado em aprendizado estatístico relacional, o primeiro desafio é como transferir a estrutura, mapeando o vocabulário de um domínio de origem para um domínio de destino. Nesta dissertação, propomos o TransBoostler, que utiliza vetores de palavras pré-treinados para mapear vocabulários, uma vez que os nomes dos predicados normalmente tem uma conotação semântica que pode ser mapeada para um modelo de espaço vetorial. Após a transferência, aplica-se revisão de teoria para adaptar o modelo mapeado aos novos dados de treinamento. Durante os experimentos, o TransBoostler realizou com êxito a tarefa de transferir árvores entre domínios com desempenho igual ou superior a trabalhos anteriores, e com redução no tempo de treinamento para a maioria dos cenários investigados.

Abstract

Machine learning algorithms have proven to be a great asset in different applications. However, traditional machine learning methods assume data is independent identically distributed (i.i.d.) and despises the relational structure of the data, which contains crucial information about how objects participate in relationships and events. Statistical machine learning models are a concise representation of probabilistic dependencies among the attributes of an object. Statistical Relational Learning (SRL) extends statistical learning to represent and learn from data with several objects and their relations. SRL models do not suppose data to be i.i.d. but, as traditional machine learning models, also assume training and testing data are sampled from the same distribution. Transfer learning has emerged as an essential technique to handle scenarios where such an assumption does not hold, as it relies on leveraging the knowledge acquired in one or more learning tasks as a starting point to solve a new task. When employing transfer learning to SRL, the primary challenge is to transfer the learned structure, mapping the vocabulary from a source domain to a different target domain. In this dissertation, we propose \mbox{TransBoostler}, which uses pre-trained word embeddings to guide the mapping as the name of a predicate usually has a semantic connotation that can be mapped to a vector space model. After transferring, TransBoostler employs theory revision to adapt the mapped model to the target data. In the experimental results, TransBoostler has successfully transferred trees from a source to a different target domain. It performs equal or better than previous works and requires less training time for most of the investigated scenarios.

JSN_TPLFW_GOTO_TOP