Сначала — о приличиях
Единственная глава книги, где юридический абзац идёт до практики, и это не случайно.
Сайты — чужая собственность, и собирать с них данные можно не всё и не всегда. Держитесь трёх правил:
Открытое и публичное — можно, личное — нельзя. Цены с витрины магазина — публичная информация. Персональные данные людей (телефоны, адреса из профилей) — нет: их сбор без согласия нарушает закон о персональных данных.
Уважайте правила сайта. У площадок есть пользовательские соглашения и файл robots.txt («правила для роботов»). Попросите Claude: «проверь robots.txt этого сайта — что там разрешено?». А у многих сервисов есть официальное API — дверь для программ; если есть, пользуйтесь ей, а не окном.
Не создавайте нагрузку. Опрашивать сайт раз в неделю — вежливо. Долбить каждую секунду в сто потоков — это уже атака, за которую банят (и правильно делают). Claude по умолчанию делает паузы между запросами — не просите его «ускориться любой ценой».
Мониторить цены десятка конкурентов раз в неделю — нормальная, общепринятая практика. С этой рамкой — поехали.
Шаг 1. Постановка
Хочу еженедельный мониторинг цен конкурентов.
Из чего: вот список из 25 ссылок на страницы товаров у трёх конкурентов —
konkurenty.xlsx (колонки: мой товар, конкурент, ссылка). И мой прайс price.xlsx.
Как: раз в неделю собирать текущие цены по ссылкам и складывать в istoriya.xlsx
(дата, товар, конкурент, цена). Работай аккуратно: паузы между запросами,
не чаще раза в неделю.
Зачем: хочу отчёт «где я дороже/дешевле рынка и что изменилось за неделю».
Предложи план: сначала соберём один раз руками, автоматизацию потом.
Заметьте последнюю строку — сначала руками, потом автомат. Это правило любой автоматизации: нельзя ставить на расписание то, что ни разу не отработало под присмотром.
Шаг 2. Первый сбор и сюрпризы
Запускайте первый сбор и готовьтесь к реальности: что-то соберётся, что-то нет. Типичные сюрпризы и стандартные ответы:
«На этой странице не нашёл цену» — конкурент сменил дизайн страницы. Покажите Claude ссылку: «открой и посмотри, где там цена теперь» (с браузерным MCP из главы 17 он посмотрит сам).
Сайт показывает роботам заглушку. Некоторые площадки закрыты от автоматического сбора. Правильный ответ — не «ломись сильнее», а убрать площадку из списка или искать официальный API. Мы договорились о приличиях, помните?
Цена «от 12 500 ₽» или «12 500 — 18 900» — решите, что писать в таблицу, и скажите Claude явно.
После доводки прогоните сбор дважды с интервалом в день и сравните: «покажи разницу между вчерашним и сегодняшним сбором». Если разница осмысленная — парсер честный.
Рис. 21.1 — Таблица istoriya.xlsx после первых сборов
Шаг 3. Отчёт, ради которого всё затевалось
Данные без выводов — просто цифры. Формулируем отчёт мечты:
Сделай скрипт отчёта по istoriya.xlsx и моему price.xlsx:
1) таблица: товар, моя цена, цены конкурентов, я дороже/дешевле рынка и на сколько %;
2) что изменилось за неделю: кто поднял, кто опустил цены;
3) три главных вывода человеческим языком вверху отчёта;
4) график динамики по 5 товарам, где разница с рынком самая большая.
Результат — красивый Excel + короткая текстовая сводка для отправки мне.
Пункт 3 — фирменный приём: пусть отчёт начинается словами, а не цифрами. «Конкурент А снизил цены на диваны на 8%, вы теперь дороже рынка по 4 позициям» — такое читается за десять секунд и ведёт к решению.
Шаг 4. Автомат
Всё проверено — собираем конвейер из главы 11:
Собери всё в одну цепочку: по понедельникам в 8:00 — сбор цен,
затем отчёт, отчёт положить в папку Отчёты и отправить мне в телеграм
(бот у нас уже есть из прошлой главы). Если сбор сломался — не молчи,
пришли сообщение «мониторинг упал, вот ошибка».
Настрой расписание и покажи, как проверить и как выключить.
Оцените, как складывается конструктор: бот из главы 20 стал каналом доставки, скрипты из главы 11 — конвейером, отчёты из главы 10 — содержанием. Это и есть настоящий уровень «продвинутый пользователь»: не знание кнопок, а умение собирать системы из освоенных кубиков.
Эксплуатация: парсер — скоропортящийся продукт
Главная правда о парсерах: они ломаются. Не из-за вас — просто конкуренты меняют сайты. Поэтому:
закладывайте «тревогу» при поломке (мы это сделали в шаге 4) — молчащий парсер хуже сломанного;
раз в месяц: «проверь все ссылки из konkurenty.xlsx — какие страницы умерли или переехали»;
чинится любая поломка одинаково: «мониторинг упал, вот ошибка — разберись и почини». С git-историей и CLAUDE.md даже полгода спустя это дело десяти минут.
