№ 1010 · Series B стартап из Сан-Франциско · Удалённо · Сан-Франциско, США
Web Crawler Engineer в series B стартап из Сан-Франциско, строящий поисковую систему для AI/LLM — удалённо или релокация в США
Web Crawler Engineer будет строить распределённый краулер для обработки 100M+ страниц в день для поисковой системы нового поколения.
О компании
Ищем для амбициозного series B стартапа из Сан-Франциско
Наш клиент строит поисковую систему нового поколения для AI/LLM, регулярно запускает пакетные задачи на кластерах >1000 машин и разрабатывает продакшен-сервисы для обработки терабайтов текста.
- Полностью собственная разработка — от поискового движка до векторной БД
- Специализированная архитектура для генерации структурированных ответов для LLM
- Система проектируется для AI-first взаимодействий, а не для традиционного "human browsing"
Что важно
- Нужен человек, который уже строил или оптимизировал web crawler на масштабе поисковых систем (Yandex, Google, Bing и др.)
- Имеет опыт с любым высокопроизводительным языком (Rust/C++ и др)
- Важен свободный английский
- Плюсом будет опыт с большими данными и ML/LLM, а также опыт в early-stage/hyper-growth стартапах
Задачи
- Построение распределенного краулера для обработки 100M+ страниц/день
- Сложные антибот-системы и обход защиты
- Динамический контент и JS-рендеринг
- Разработка алгоритмов интеллектуального планирования обхода для распределенного краулера
Стек
Rust, AWS, Kubernetes, Python(ML)
Условия
- Формат работы: удалённо ИЛИ релокация в Сан-Франциско — на выбор
- $150k-300k + эквити (обсуждаемо)