Scrapy

Scrapy es un framework de web scraping para Python que extrae datos estructurados de sitios web. Es multiplataforma, requiere Python 3.10 o superior, y lo mantiene Zyte (antes Scrapinghub) junto con una gran comunidad de colaboradores, lo que lo convierte en uno de los frameworks más consolidados y longevos del ámbito del web scraping.

Al ser un framework y no una herramienta de propósito único, Scrapy se encarga de la infraestructura que rodea a un scraper —hacer solicitudes, seguir enlaces, analizar respuestas y exportar los datos extraídos—, de modo que un desarrollador escribe la lógica de extracción específica de un sitio en lugar de la infraestructura de rastreo que la rodea.

Scrapy encaja en desarrolladores Python que construyen scrapers o crawlers y quieren un framework consolidado y con todo incluido, particularmente para proyectos de scraping más grandes o de larga duración donde la estructura del framework y su mantenibilidad importan.