TD Synnex
Parceiro activoLimitações
- Preços de parceiro podem estar ocultos sem login B2B.
- Catálogo público limitado face à área autenticada.
Estratégia
Sync diário e pesquisa com os restantes. Pesquisa por SKU é a forma mais fiável.
Filtrar produtos
Cache: pesquisa instantânea nos produtos já espelhados (todos os parceiros). Se não encontrar, use Espelhar parceiros (2–4 min, TD Synnex + EET + Cartucho + Logiscenter).
Limitações por parceiro
EET Group
Parceiro activoLimitações
- Azure WAF pode exigir desafio de browser.
- Preços podem ser null sem sessão de parceiro.
- Estrutura do catálogo varia por região.
Estratégia
Mesmo peso que TD Synnex e Cartucho no espelhamento e na pesquisa.
Cartucho
Parceiro activoLimitações
- Blacklist de IP em servidores IIS (429).
- Pesquisa via UI AJAX, não URL directa.
- Preço promo (.price-incl) vs PVP (.price-list).
Estratégia
GHA para scrape e ingest. Mesma importância que os outros parceiros activos.
Logiscenter
Menor (bloqueios)Limitações
- Cloudflare bloqueia IPs de datacenter (VPS comum).
- Bloqueios mais agressivos que Cartucho.
- Preços podem exigir login.
Estratégia
Incluída no sync global; se falhar, os outros 3 parceiros continuam. Teste manual opcional.
Como obter e manter os dados
Espelhamento com pesquisa (todos os parceiros)
- 1. Utilizador pesquisa na loja (ex: «toner HP»).
- 2. Primeiro: pesquisa no cache local (instantâneo, todos os parceiros).
- 3. Se vazio: «Espelhar parceiros» dispara GHA nos 4 fornecedores (mesmo limite cada).
- 4. Em 2–4 min os produtos entram via ingest. Logiscenter pode falhar sem afectar os outros.
- 5. Domingos: workflow terabyte-search-mirror com termos em queries/terabyte-search-terms.txt.
Sync diário (4 parceiros)
- Workflow terabyte-partner-sync às 06:00 UTC (sources=all, 25 produtos por parceiro).
- TD Synnex, EET Group e Cartucho têm o mesmo peso comercial.
- Logiscenter entra no mesmo job; bloqueios Cloudflare podem reduzir resultados desse parceiro.
Bootstrap inicial
- Correr workflow TERABYTE Partner Sync (sources=all, limit 25–40).
- Validar nesta página com filtro por parceiro.
- Logiscenter: se 0 produtos, os outros 3 bastam para arrancar a loja.
Atualização diária de preços
- Manter queries/watchlist.txt com referências (CE285A, CF283A, …).
- Workflow price-sync (dias úteis 05:30 UTC) faz search por referência.
- Resultados fazem upsert na API (preços actualizados, URLs estáveis).
- Alternativa: API_SCHEDULE_ENABLED=true no servidor com RAM suficiente.
Arquitectura híbrida (recomendada)
- Render ou servidor cliente: API + SQLite + esta página de consulta.
- GitHub Actions: scrapers com Playwright (IPs não bloqueados).
- Servidor cliente (IP diferente): TD Synnex + EET em local se possível.
- WordPress: chamadas server-side (wp_remote_*) com X-API-Key.
Fluxo no Render (teste)
GitHub Actions (scrape)
│
▼ POST /api/v1/ingest + X-API-Key
Render API (esta página + REST)
│
▼ GET /api/v1/products
WordPress plugin / widget
Cuidados e boas práticas
- Respeitar rate limits: SCRAPER_REQUEST_DELAY_MS (default 1500 ms) entre pedidos.
- Não correr API + UI build em paralelo em VPS com pouca RAM (OOM).
- SQLite no Render free é efémero: redeploy apaga cache (re-ingest via GHA).
- Cold start Render (~30 s) após inactividade no plano free.
- Nunca commitar credenciais de parceiros (.env no .gitignore).
- Preços são indicativos: confirmar sempre no site do parceiro antes de venda.
- Scrape ao vivo (live: true) no Render free não inclui Playwright: usar ingest.
- Um único job de scrape de cada vez (lock) para poupar memória.
Ética e conformidade
Este projecto usa delays, retries moderados e parsers estáveis. Não implementa evasão agressiva de anti-bot. Usar apenas em contexto autorizado (parceiro, cliente, catálogo público). Em caso de bloqueio, mudar de IP (GHA) ou negociar acesso API oficial com o fornecedor.