Browsing by Author "Figueiredo, Leandro Neiva Lopes"

Now showing 1 - 2 of 2
  • No Thumbnail Available
    Item
    DERIN : a data extraction method based on rendering information and n-gram.
    (2017) Figueiredo, Leandro Neiva Lopes; Assis, Guilherme Tavares de; Ferreira, Anderson Almeida
    Extracting data from web pages is an important task for several applications such as com- parison shopping and data mining. Ordinarily, the data in web pages represent records from a database and are obtained using a web search. One of the most important steps for extracting records from a web page is identifying out of the different data regions, the one containing the records to be extracted. An incorrect identification of this region may lead to an extraction of incorrect records. This process is followed by the equally important step of detecting and correctly splitting the necessary records and their attributes from the main data region. In this study, we propose a method for data extraction based on render- ing information and an n-gram model (DERIN) that aims to improve wrapper performance by automatically selecting the main data region from a search results page and extracting its records and attributes based on rendering information. The proposed DERIN method can detect different record structures using techniques based on an n-gram model. More- over, DERIN does not require examples to learn how to extract the data, performs a given domain independently and can detect records that are not children of the same parent el- ement in the DOM tree. Experimental results using web pages from several domains show that DERIN is highly effective and performs well when compared with other methods.
  • No Thumbnail Available
    Item
    Um método baseado em informações de renderização para extração de dados de páginas web.
    (2015) Figueiredo, Leandro Neiva Lopes; Ferreira, Anderson Almeida
    A extração de dados de páginas web é uma importante tarefa para várias aplicações, como comparadores de preços, bibliotecas digitais e mineradores de dados. Grande parte dos dados necessários para essas aplicações é disponibilizada através de páginas de resultado de busca, onde cada resultado, chamado de search result record, representa um registro de um banco de dados. Um dos passos mais importantes para extrair esses registros é identificar, dentre as diferentes regiões de dados de uma página, aquela que contém os registros a serem extraídos, ou seja, a principal região de dados. Uma identificação errada dessa região pode resultar em uma extração incorreta dos search result records. Outro passo importante é a detecção e a separação de cada registro dentro dessa principal região de dados, bem como de seus respectivos atributos. Nesse trabalho, é proposto um método que, baseado nas informações de renderização dos elementos da página de resultado de busca, seleciona a sua principal região de dados e extrai seus registros e atributos. Experimentos utilizando páginas de vários domínios de aplicação mostram que o método é efetivo e competitivo em relação a alguns métodos já existentes.