AI Infrastructure / Inference Engineer

Также называют: Inference Engineer, ML Inference Engineer, AI Infrastructure Engineer, LLM Serving Engineer, ML Systems Engineer.

Кто такой AI Infrastructure / Inference Engineer и чем он занимается?

AI Infrastructure / Inference Engineer — это инженер, который отвечает за то, чтобы модели в продакшене работали быстро и недорого: настраивает serving, управляет GPU-ресурсами и считает стоимость каждого ответа. Это инженерная роль; руководство GPU-облаком или кластером — отдельная роль AI / GPU Infrastructure Lead. Типичные задачи:

• выбирает и настраивает фреймворки для сервинга моделей (vLLM, TensorRT-LLM, Triton Inference Server);
• настраивает батчинг, кэширование и квантизацию под нужную задержку и пропускную способность;
• управляет GPU-ресурсами и автомасштабированием под нагрузку;
• профилирует инференс и устраняет узкие места;
• считает стоимость ответа и помогает выбрать между своими GPU, облаком и внешними API.

Когда компании нужен AI Infrastructure / Inference Engineer?

AI Infrastructure / Inference Engineer нужен, когда компания запускает модели на своих GPU или в облаке, а не только через внешние API, и счёт за инференс или задержка ответа становится проблемой для бизнеса. Чаще всего это компании с собственными или open-source моделями в продакшене, с большим объёмом запросов или с требованиями к данным, которые не позволяют отправлять их внешнему провайдеру. Роль не нужна, если все модели вызываются через API провайдера и объём небольшой: тогда хватит AI / LLM Engineer и MLOps / LLMOps Engineer.

Чем AI Infrastructure / Inference Engineer отличается от MLOps Engineer?

AI Infrastructure / Inference Engineer отличается от MLOps Engineer тем, что выжимает производительность на конкретном железе (задержку, пропускную способность, стоимость), а MLOps Engineer выстраивает процесс: деплой, версии моделей, мониторинг. Neural Network Optimization Engineer работает уровнем ниже — с весами, ядрами и компиляторами самой модели.

Почему AI Infrastructure / Inference Engineer сложно нанять?

AI Infrastructure / Inference Engineer сложно нанять, потому что глубокий опыт оптимизации инференса на GPU есть у немногих, а название роли понимают по-разному.

• Название размыто: «AI Infrastructure Engineer» в одной компании — DevOps для ML, в другой — человек, который профилирует CUDA-ядра.
• Большинство ML Engineers никогда не опускались ниже стандартных настроек фреймворка для сервинга.
• Нужна редкая комбинация: системное программирование, понимание архитектуры GPU и знание того, как устроены современные модели.
• Сильные кандидаты сосредоточены в AI-лабораториях, GPU-облаках и крупных компаниях с собственными моделями, где их ценят и неохотно отпускают.

Что выяснить до найма AI Infrastructure / Inference Engineer?

• Что важнее: задержка, пропускная способность или стоимость? Оптимизация под каждую цель идёт разными методами, и опыт кандидата должен совпадать с вашей.
• Свои GPU, облако или внешние API? Инженер, который работал только с управляемыми облачными сервисами, может не знать, как работать с собственным железом.
• Какие модели и какой объём запросов? Сервинг большой LLM и десятка небольших моделей компьютерного зрения — разные задачи.
• Кто отвечает за сам GPU-кластер? Если отдельной инфраструктурной команды нет, этому человеку придётся заниматься и железом.

Где искать AI Infrastructure / Inference Engineer?

AI Infrastructure / Inference Engineers чаще всего приходят из GPU-облаков, AI-лабораторий и компаний с собственными моделями, а также из HPC и CUDA-разработки. Сигнал в профиле — конкретная оптимизация с цифрами до и после (задержка, пропускная способность, стоимость) и вклад в open-source инструменты для инференса. NEWHR ищет таких кандидатов по результатам работы, а не по откликам на вакансию.

Как проверить AI Infrastructure / Inference Engineer на интервью?

AI Infrastructure / Inference Engineer проверяют разбором оптимизации, которую кандидат делал (что было узким местом, какие метрики до и после, сколько удалось сэкономить), и практической задачей на профилирование и ускорение инференса. Со стороны компании участвуют Head of AI или CTO и ведущий инженер по ML-инфраструктуре.

Сильные сигналы:

• начинает с профилирования, а не с готового рецепта;
• говорит цифрами: задержка, пропускная способность, стоимость на запрос;
• объясняет компромисс между задержкой и пропускной способностью на конкретном примере.

Красные флаги:

• знает только настройки фреймворка по умолчанию;
• не может объяснить, где было узкое место в его прошлой оптимизации;
• не проверяет, как квантизация повлияла на качество модели.

Сколько длится поиск AI Infrastructure / Inference Engineer?

Первых кандидатов на роль AI Infrastructure / Inference Engineer показываем через 5–7 дней после брифа.

Смежные роли

• Neural Network Optimization Engineer — оптимизирует саму модель и вычисления: веса, точность, ядра.
• MLOps / LLMOps Engineer — выстраивает процесс деплоя и мониторинга моделей, а не их производительность.
• AI / GPU Infrastructure Lead — руководит GPU-кластерами и командой на уровне всей платформы.
• AI / LLM Engineer — строит продукт на моделях, которые Inference Engineer делает быстрыми.
• SRE — отвечает за надёжность общей платформы, а не за GPU-инференс.