/work/catalog-scraper

Catalog scraper

nedir
araç / otomasyon
rol
kapsam, kod, testler
yıl
2026
platform
Node.js

Demo proje: örneklerdeki işletmeler hayali, müşteri yok. Kod ve testler portföy için yazıldı.

Portföy için demo proje.

Görev: bir sitedeki tüm ürün veya ilanların tablosu (fiyat, özellik, bağlantı, fotoğraf) — rakip analizi veya katalog taşıma için.

Site profili (JSON’da CSS seçicileri) ve genel tarayıcı: rel=next sayfalama, ürün sayfaları, “14.

900.

000 ₺ / ay” gibi fiyatların sayı ve döneme ayrılması, mükerrer temizliği, robots.

txt ve Crawl-delay, 429 ve 5xx’te artan bekleme ve Retry-After.

CSV (BOM, formül enjeksiyonuna karşı), biçimli XLSX ve JSON çıktısı.

Testler 8/8.

Demo yalnızca bu portföyün yerel Laravel sitesinde: 20/20 ilan, 0 hata.

beceriler ve araçlar

  • Node.js
  • web scraping
  • cheerio
  • ExcelJS
  • CSV / XLSX / JSON
  • robots.txt

ekranlar

kapak
kapak
demo: yerel emlak sitesi → 3 sayfa, 20 ilan × 19 alan, 7 sn
demo: yerel emlak sitesi → 3 sayfa, 20 ilan × 19 alan, 7 sn
sonraki projee-posta şablonları
human