Web Crawling e Scraping com Scrapy e Scrapy Cloud

Web Crawling e Scraping com Scrapy e Scrapy Cloud

Web Scraping

Web Crawling

Web Crawling e Scraping no Love Mondays

Scrapy

• Framework Python voltado para scraping e crawling
• Open Source
• Construído em cima do Twisted
  • Eficiente
  • Assíncrono

Exemplo de uma Spider

• Acessa a lista dos 100 filmes mais populares no IMDB
• Coleta o título de cada filme
• Acessa a página específica de cada filme
• Coleta também a sinopse e o nome do diretor

O código

O nome que identifica a spider

O ponto de partida da spider

Método que manipula a resposta recebida por cada requisição feita.

Execução da spider

Gerenciamento dos dados na nuvem

Scrapinghub

• Criação e manutenção do Scrapy
  • Data on Demand
  • Scrapy Cloud

Scrapy Cloud

• Execução de web crawling em nuvem
• Armazenamento dos dados em um banco de alta disponibilidade

Tecnologias

Dashboard

Utilização dos dados

Possibilidades:

• Download (CSV, JSON JSON Lines, XML)
• Publicação como um dataset público no Scrapinghub
• Consumo dos dados através da Scrapy Cloud API

Scrapy Cloud API

• Permite interagir com as spiders e os dados coletados.
• Endpoints:
  • app.scrapinghub.com
  • storage.scrapinghub.com

python-scrapinghub

• Client Python: python-scrapinghub
• Exemplo simples: https://github.com/lidimayra/scrapinghub-api-demo

Para saber mais:

• Scrapy - Site oficial
• Scrapy - GitHub
• Scrapinghub - Site oficial
• Scrapinghub - GitHub