Evals Engineer

Также называют: AI Evaluation Engineer, LLM Evaluation Engineer, Model Evaluation Engineer, AI Quality Engineer, ML Evaluation Engineer.

Кто такой Evals Engineer и чем он занимается?

Evals Engineer — это инженер, который строит систему оценки качества AI: датасеты, грейдеры и проверки, по которым команда решает, стала модель лучше или хуже. Отчасти разработчик, отчасти исследователь, отчасти статистик. Как отдельный титул встречается редко, но без этой работы любое изменение модели выкатывают вслепую:

• собирает датасеты для оценки из реальных запросов в продакшене;
• пишет автоматические грейдеры и калибрует LLM-as-judge вместе с экспертами предметной области;
• строит регрессионные проверки, которые запускаются перед каждым релизом;
• считает, на скольких примерах результат можно считать надёжным;
• показывает команде, где модель ошибается и что чинить первым.

Когда компании нужен Evals Engineer?

Evals Engineer нужен, когда AI-продукт уже работает у пользователей, а команда меняет модели, промпты и пайплайны чаще, чем успевает проверять результат. Типичные триггеры: после обновления модели пользователи жалуются на качество, спор «стало лучше или хуже» решают на трёх примерах, а в юридических, финансовых и медицинских продуктах качество нужно доказывать заказчику или регулятору. Роль не нужна на стадии прототипа, пока нет реальных запросов: тогда оценку качества строит сам AI / LLM Engineer.

Чем Evals Engineer отличается от QA Engineer?

Evals Engineer отличается от QA Engineer тем, что измеряет вероятностное качество ответов модели на выборке, а не проверяет детерминированное поведение кода по тест-кейсам. От ML Researcher его отличает фокус на инфраструктуре оценки для продукта, а не на новых методах; ближе всего он к Infrastructure Engineer, который отвечает за качество.

Почему Evals Engineer сложно нанять?

Evals Engineer сложно нанять, потому что как отдельная профессия роль только складывается, а нужное сочетание навыков встречается редко.

• Титул редкий: evals чаще описывают как навык внутри вакансий ML или AI Engineer, поэтому кандидатов ищут по опыту, а не по названию должности.
• Нужны сразу инженерия, статистика и понимание предметной области; у большинства кандидатов есть одно-два из трёх.
• Работа почти не видна снаружи: внутренние наборы evals закрыты, и в резюме это выглядит как «улучшал качество модели».
• Самый сильный сигнал — публичный набор evals с описанной методологией, но такой есть у немногих.

Что выяснить до найма Evals Engineer?

• Кто сейчас оценивает качество и на скольких примерах? Ответ показывает, строить систему с нуля или развивать существующую, и это разные кандидаты.
• Может ли Evals Engineer остановить релиз? Если его вывод можно игнорировать, роль превращается в отчёты, которые никто не читает.
• Сколько времени экспертов доступно для разметки и калибровки? Без экспертов грейдеры не откалибровать, и оценка будет неточной.
• Какие ошибки модели критичны для бизнеса? От этого зависит, что измерять в первую очередь и нужен ли кандидату опыт в вашей предметной области.

Где искать Evals Engineer?

Evals Engineers чаще всего приходят из команд качества юридических и финансовых AI-продуктов, из ML Engineers в поиске и ранжировании, где давно измеряют качество на выборках, и из мейнтейнеров open-source фреймворков для оценки моделей. Сигнал в профиле — публичный набор evals или статья с методологией, а также опыт калибровки модели-судьи вместе с экспертами. NEWHR ищет таких кандидатов по результатам работы, а не по откликам на вакансию.

Как проверить Evals Engineer на интервью?

Evals Engineer проверяют практическим заданием: спроектировать оценку для одного реального сценария компании, включая размер выборки и согласие модели-судьи с людьми. Если у кандидата есть публичные работы по evals, их разбирают отдельно. Со стороны компании участвуют Head of AI или ведущий ML Engineer и, по возможности, эксперт предметной области.

Сильные сигналы:

• начинает с вопроса, какие ошибки важны для пользователя;
• считает размер выборки и говорит о погрешности;
• проверяет согласие модели-судьи с людьми, прежде чем ей доверять.

Красные флаги:

• предлагает одну общую метрику для всех сценариев;
• доверяет LLM-as-judge без калибровки;
• не может объяснить, как его оценка повлияла на решение о релизе.

Сколько длится поиск Evals Engineer?

Первых кандидатов на роль Evals Engineer показываем через 5–7 дней после брифа.

Смежные роли

• QA Engineer — проверяет поведение кода по тест-кейсам, а не вероятностное качество модели.
• AI / LLM Engineer — строит LLM-функции; Evals Engineer проверяет, стали ли они лучше.
• Agentic AI Engineer — строит агентов, которым особенно нужна строгая оценка качества.
• Data Scientist — тоже работает со статистикой и выборками, но чаще для продуктовых решений, а не для релизов модели.