Catalog scraper

Демо-проект для портфолио.

Задача: таблица всех товаров или объектов сайта — цена, характеристики, ссылки, фото — для анализа конкурентов или переноса каталога.

Профиль сайта (CSS-селекторы в JSON) и общий обходчик: пагинация по rel=next, страницы товаров, разбор цен вида «14.

900.

000 ₺ / ay» в число и период, удаление дублей, robots.

txt и Crawl-delay, нарастающие паузы и Retry-After при ответах 429 и 5xx.

Выгрузка в CSV (с BOM и защитой от формул), оформленный XLSX и JSON.

Тесты 8 из 8.

Демо — только на локальном сайте Laravel из этого портфолио: 20 из 20 объектов, 0 ошибок.