I AM FREELANCE

Неделя 310 ₽Месяц 630 ₽3 месяца 1 680 ₽Год 5 680 ₽

Обход блокировки и получение данных с сайта (парсер кэфов) (для всех) № 49472

Добавлен в подборку:

По договорённости

Откликнуться

Рынок рубрики

2 000 ₽медиана по «Парсинг и сбор данных»

По 94 заказам за 90 дней. Шкала логарифмическая.

СвежестьОкно открыто

42 ч назадгорячее окно: ещё 29 ч

Оценка по площадке: в первые часы заказчик получает больше всего откликов.

Есть рабочий парсер данных с целевого сайта (Node.js, чистый код, работает стабильно часами). Парсер собирает данные по WebSocket (поток работает стабильно, без банов) и по HTTP (полная роспись с деталями — но тут сайт жестко режет запросы). Проблема: сайт ставит лимит на HTTP-запросы для каждой залогиненной сессии. При частых запросах (1 раз в 5 секунд) сессия быстро «выгорает» — сервер отвечает «Too many requests» на все последующие запросы этой сессии. После этого запросы с той же сессией не проходят ни через какой IP — лимит привязан к аккаунту/сессии, а не только к IP. Попробовали: - Ротация 40 SOCKS5-прокси + одна сессия — не помогает (лимит по сессии); - Мультиаккаунт — сессии конфликтуют, после второго входа одна сессия аннулируется; - Увеличение цикла до 30-60 с — данные приходят, но не realtime; - Сокращение числа запрашиваемых матчей — лимит всё равно догоняет. Что нужно Обойти rate-limit (или предложить альтернативный способ) для получения полной росписи в реальном времени (обновление 1 раз в 1-5 секунд на каждый live-матч) на длинной дистанции (недели, месяцы). Технические детали (что уже известно) Сайт: Node.js-сервер, WebSocket ws://.../ ( v4), HTTP /en/bets/<match_id>/<team_id>/; Авторизация: кука auth (RAW hex, 176 символов в одном из вариантов) + PHPSESSID + __ddg1_/__ddg9_ (ddos-guard cookies); Rate-limit: сервер возвращает HTML «Too many requests. Please try again later...» (200 OK) при превышении частоты; Авторизация привязана к куке auth — сессия не привязана жёстко к IP (подтверждено); При 5+ «log in again» подряд парсер помечает сессию мёртвой. Варианты, которые рассматриваем Обход rate-limit на уровне сессии — например, эмуляция человеческого поведения (действия между запросами), другие точки входа (mobile-версия, PWA, API-эндпойнт

…

Дата: 07.11.2026 в 13:36 МСК

Поиск по заказам