MLOps / LLMOps Engineer

Также называют: MLOps Engineer, LLMOps Engineer, ML Platform Engineer, ML Infrastructure Engineer, AI Platform Engineer.

Кто такой MLOps / LLMOps Engineer и чем он занимается?

MLOps / LLMOps Engineer — это инженер, который строит и поддерживает платформу, через которую модели попадают в продакшен и работают там: от обучения и деплоя до мониторинга и счёта за GPU. Он делает так, чтобы ML-команда выкатывала новую версию модели за часы, а не за недели, и могла её откатить. В LLMOps к этому добавляются маршрутизация между моделями, кеширование и контроль затрат на токены. Типичные задачи:

• строит пайплайны обучения, деплоя и отката моделей;
• ведёт версии данных, моделей и экспериментов, чтобы любой результат можно было воспроизвести;
• настраивает мониторинг качества, дрейфа и задержек;
• управляет GPU-ресурсами и стоимостью инференса;
• для LLM настраивает логирование запросов, оценку ответов и выбор модели под задачу.

Когда компании нужен MLOps / LLMOps Engineer?

MLOps / LLMOps Engineer нужен, когда моделей в продакшене становится несколько и ML Engineers тратят больше времени на деплой и инциденты, чем на сами модели. Частые триггеры: счёт за GPU или LLM API растёт быстрее выручки, никто не может сказать, какая версия модели сейчас работает, после обновления модели качество незаметно падает. Ещё один триггер — компания строит ML-направление с нуля и хочет сразу заложить платформу. Если модель одна и меняется раз в квартал, отдельная роль не окупится: эту работу возьмёт ML Engineer вместе с DevOps Engineer.

Чем MLOps / LLMOps Engineer отличается от DevOps Engineer?

MLOps / LLMOps Engineer отличается от DevOps Engineer тем, что работает с моделями, а у модели, в отличие от обычного сервиса, есть данные, версии весов и качество, которое может упасть без единой ошибки в логах. DevOps Engineer обеспечивает поставку кода и стабильность инфраструктуры; MLOps Engineer нужно ещё понимать, как обучается модель и почему она деградирует. От ML Engineer его отличает фокус: ML Engineer делает конкретную модель, MLOps Engineer — систему, в которой живут все модели.

MLOps / LLMOps Engineer и смежные роли: сравнение

Почему MLOps / LLMOps Engineer сложно нанять?

MLOps / LLMOps Engineer сложно нанять, потому что нужен человек с опытом и в инфраструктуре, и в машинном обучении, а большинство кандидатов пришли из одного из этих миров.

• DevOps Engineers, которые называют себя MLOps, часто ни разу не разбирались с дрейфом модели или воспроизводимостью обучения.
• ML Engineers с интересом к инфраструктуре редко работали с Kubernetes, GPU-кластерами и дежурствами на серьёзном масштабе.
• LLMOps — молодое направление: опыт с маршрутизацией моделей и оценкой ответов есть у немногих, и по резюме его трудно отличить от одного проекта на выходных.
• Сильные кандидаты обычно уже строят ML-платформу в своей компании и не ищут работу.

Что выяснить до найма MLOps / LLMOps Engineer?

• Сколько моделей в продакшене сейчас и сколько будет через год? Для двух моделей и для двадцати нужны разные люди и разный уровень.
• Свои модели, open-source или внешние API? Платформа для обучения своих моделей и обвязка вокруг LLM API — разная работа.
• Какая инфраструктура: облако, свои GPU, Kubernetes? Опыт с собственными GPU-кластерами встречается реже, и это нужно знать до поиска.
• Кто сейчас отвечает за деплой моделей? Если ML Engineers привыкли выкатывать сами, новому человеку понадобится мандат менять процесс.

Где искать MLOps / LLMOps Engineer?

MLOps / LLMOps Engineers чаще всего приходят из ML-платформенных команд финтеха, e-commerce, рекламных технологий и AI-стартапов, а также из Platform Engineers и ML Engineers, которые выросли в инфраструктуру. Сильный сигнал в профиле — построенная внутренняя ML-платформа, которой пользуются другие команды, или вклад в open-source инструменты для обучения и сервинга моделей. NEWHR ищет таких кандидатов по результатам работы, а не по откликам на вакансию.

Как проверить MLOps / LLMOps Engineer на интервью?

MLOps / LLMOps Engineer проверяют разбором ML-платформы или пайплайна, который кандидат построил, и практическим заданием: развернуть модель с мониторингом и возможностью отката. Со стороны компании участвуют ML Lead и кто-то из инфраструктурной команды.

Сильные сигналы:

• рассказывает об инциденте, где модель деградировала тихо, и как его заметили;
• знает, сколько стоили GPU или токены и что он сделал, чтобы это снизить;
• думает о том, как платформой будут пользоваться ML Engineers, а не только о технологиях.

Красные флаги:

• описывает только CI/CD для сервисов, без версий данных и моделей;
• не может объяснить, как отличить падение качества модели от сбоя инфраструктуры;
• собирает платформу из модных инструментов, не спросив, какие задачи у ML-команды.

Сколько длится поиск MLOps / LLMOps Engineer?

Первых кандидатов на роль MLOps / LLMOps Engineer показываем через 5–7 дней после брифа. Сеньорную ML-команду из 6 человек мы собрали за 5 месяцев.

Смежные роли

• ML Engineer — делает конкретные модели, а не платформу для них.
• DevOps Engineer — строит инфраструктуру и поставку кода для обычных сервисов.
• AI Infrastructure / Inference Engineer — оптимизирует скорость и стоимость инференса глубже, на уровне железа и рантайма.
• Platform Engineer — строит внутреннюю платформу для всей компании, а не только для ML.
• Evals Engineer — строит систему оценки качества AI, на которую опирается мониторинг.