Crawling Engineer

Также называют: Web Crawling Engineer, Web Scraping Engineer, Data Acquisition Engineer, Web Data Engineer, Crawler Engineer.

Кто такой Crawling Engineer и чем он занимается?

Crawling Engineer — это инженер, который строит и поддерживает системы, собирающие данные из интернета в больших объёмах: от тысяч сайтов конкурентов до миллиардов страниц для поискового индекса или обучающего корпуса AI-модели. Его задача — собирать много, быстро обновлять, не тратить лишнего на прокси и браузеры и оставаться в рамках закона. Типичные задачи:

• строит распределённые краулеры, планирует обход и убирает дубликаты;
• пишет парсеры для неаккуратной и постоянно меняющейся вёрстки;
• поддерживает инфраструктуру прокси и headless-браузеров;
• обходит лимиты запросов, капчи и фингерпринтинг;
• превращает сырой HTML в чистые структурированные данные, а для AI-команд ещё фильтрует и дедуплицирует корпус.

Когда компании нужен Crawling Engineer?

Crawling Engineer нужен, когда данные из открытого интернета — основа продукта, а не разовая задача: поиск, мониторинг цен и рынков, агрегаторы, поставщики данных, AI-лаборатории, которые сами собирают обучающие выборки. Частые триггеры: самописный парсер падает каждую неделю, источники усилили антибот-защиту, объём нужно вырастить в десятки раз, а счёт за прокси уже заметен в бюджете. Если источников несколько и они редко меняются, отдельная роль не нужна: с парсингом справится Data Engineer или Backend Developer, а иногда дешевле купить данные у поставщика.

Чем Crawling Engineer отличается от Data Engineer?

Crawling Engineer отличается от Data Engineer тем, что добывает данные, которые никто не отдаёт добровольно, а Data Engineer работает с данными, которые у компании уже есть или приходят по API. Поэтому у Crawling Engineer другие проблемы: блокировки, капчи, смена вёрстки и юридические границы сбора. От ML Engineer его отличает место в цепочке: Crawling Engineer готовит корпус, ML Engineer обучает на нём модели.

Почему Crawling Engineer сложно нанять?

Crawling Engineer сложно нанять, потому что у роли нет устоявшегося названия, а опыт краулинга в масштабе есть у небольшого числа компаний.

• Одни и те же люди называются Backend Developer, Data Engineer или Scraping Engineer, и поиск по тайтлу их почти не находит.
• Большинство кандидатов писали парсеры для нескольких сайтов, а опыт обхода миллиардов страниц встречается редко.
• Часть опыта кандидаты не любят подробно описывать в резюме из-за деликатной юридической стороны сбора данных.
• Инженеры, которые собирали обучающие корпуса для AI, сейчас очень востребованы и заняты.

Что выяснить до найма Crawling Engineer?

• Что собираете и в каком объёме? Тысячи сайтов и миллиарды страниц — разные архитектуры и разный уровень инженера.
• Насколько сложные источники? Статичные страницы, тяжёлый JavaScript и сильная антибот-защита требуют разного опыта.
• Куда идут данные: в поиск, аналитику, обучающий корпус? Для AI-корпуса важны фильтрация и качество, а не только объём.
• Кто отвечает за юридическую сторону: robots.txt, условия использования, персональные данные? Если никто, инженер будет решать это сам, и риск ляжет на компанию.
• Строить с нуля или стабилизировать существующий краулер? От ответа зависит, нужен инженер, который проектирует системы, или тот, кто умеет быстро чинить.

Где искать Crawling Engineer?

Crawling Engineers чаще всего приходят из поисковиков, сервисов мониторинга цен и рынков, поставщиков данных, рекламных технологий и AI-лабораторий, а также из Backend Developers, которые отвечали за парсинг в маркетплейсах и агрегаторах. Сильный сигнал в профиле — open-source инструменты для краулинга или понятный масштаб: сколько страниц в сутки собирала система и сколько стоила одна страница. NEWHR ищет таких кандидатов по результатам работы, а не по откликам на вакансию.

Как проверить Crawling Engineer на интервью?

Crawling Engineer проверяют разбором системы сбора данных, которую он строил, и задачей на проектирование под реальный сложный источник компании. В разборе обсуждают архитектуру, масштаб, блокировки, смену вёрстки и стоимость одной страницы. Со стороны компании участвуют Head of Data или CTO и, если есть, юрист, который отвечает за сбор данных.

Сильные сигналы:

• знает стоимость сбора одной страницы и как её снижал;
• рассказывает, как система замечала, что парсер начал отдавать мусор;
• спокойно и конкретно говорит о юридических и этических границах своей работы.

Красные флаги:

• решает все проблемы покупкой новых прокси;
• не задумывается о нагрузке на чужие сайты и правилах их использования;
• имеет опыт только с одним-двумя сайтами и не думает о масштабе.

Сколько длится поиск Crawling Engineer?

Первых кандидатов на роль Crawling Engineer показываем через 5–7 дней после брифа.

Смежные роли

• Data Engineer — строит пайплайны для данных, которые уже есть у компании или приходят по API.
• ML Engineer — обучает модели на собранных данных.
• AI / LLM Engineer — собирает продукты на LLM, которым часто нужны свежие данные из веба.
• Network Security Developer — работает с сетевыми протоколами и защитой с другой стороны баррикад.