Muitos projetos de scraping morrem do mesmo jeito: um cron enche um bucket de JSON, alguém abre uma vez, e a operação volta pro cheque manual. O scrape “funcionou”. A operação não mudou.
Scraping que não muda a operação
Scraping útil começa na decisão, não na página. O que alguém deveria fazer diferente amanhã de manhã porque esse dado existe? Mudar preço, sinalizar anúncio, atualizar estoque, ligar para um lead, pausar anúncio. Se você não nomeia essa ação, está coletando curiosidade.
Isso significa que o pipeline é mais que extração. Precisa de schema, resolução de entidade, SLA de frescor e uma superfície de entrega onde o time já vive — alerta no Slack, painel admin, tabela no warehouse, webhook no ERP.
Comece pela decisão, não pelo HTML
Confiabilidade importa mais que esperteza. Site muda. Seletor quebra. Parede anti-bot aparece. O produto não é um script; é um feed monitorado com retry, teste de parse e alguém responsável quando o número de ontem para de chegar.
Guardrails legais e éticos entram no desenho, não no rodapé. Respeitar robots quando couber, evitar dado pessoal que você não precisa, e preferir dado comercial público com propósito de negócio claro.
Confiabilidade, entrega e guardrails
Quando entregamos scrapers para clientes de real estate e ecommerce, o critério de vitória é simples: o operador para de abrir dez abas porque o sistema já leu tudo de madrugada.