Neural Network Optimization Engineer

Также называют: Model Optimization Engineer, ML Performance Engineer, ML Compiler Engineer, Model Compression Engineer, Edge AI Engineer.

Кто такой Neural Network Optimization Engineer и чем он занимается?

Neural Network Optimization Engineer — это инженер, который делает модели меньше и быстрее, сохраняя их качество, и подгоняет их под конкретное железо — от серверных GPU до смартфонов и edge-устройств. Результат его работы измеряют задержкой, потреблением памяти, стоимостью запроса и тем, сколько качества удалось сохранить:

• квантизирует модели и проверяет, как это сказалось на качестве;
• применяет прунинг и дистилляцию в модели поменьше;
• пишет собственные GPU-ядра на CUDA или Triton для узких мест;
• работает с компиляторами и рантаймами вроде TensorRT, TVM или ONNX Runtime;
• адаптирует модели под ограничения конкретного устройства по памяти и энергопотреблению.

Когда компании нужен Neural Network Optimization Engineer?

Neural Network Optimization Engineer нужен, когда модель нужно запустить на устройстве (смартфоне, автомобиле, камере, роботе), когда стоимость инференса на GPU слишком высока или задержка не укладывается в требования продукта, а стандартные настройки фреймворков уже исчерпаны. Чаще всего это компании с собственными моделями, производители чипов и устройств, AI-лаборатории. Роль не нужна, если модели вызываются через API провайдера или стандартной квантизации хватает: тогда задачу закроет AI Infrastructure / Inference Engineer.

Чем Neural Network Optimization Engineer отличается от AI Infrastructure / Inference Engineer?

Neural Network Optimization Engineer отличается от AI Infrastructure / Inference Engineer уровнем работы: Inference Engineer отвечает за то, как модели обслуживаются в продакшене (сервинг, батчинг, парк GPU, стоимость), а Optimization Engineer меняет саму модель и вычисления — веса, точность, архитектуру, ядра, настройки компилятора. ML Engineer обучает модели и встраивает их в продукт; оптимизация часто начинается там, где его работа заканчивается. В небольших командах инференс и оптимизацию нередко совмещает один человек.

Почему Neural Network Optimization Engineer сложно нанять?

Neural Network Optimization Engineer сложно нанять, потому что это очень узкий рынок с глубокой специализацией по железу.

• Название используют непоследовательно: так называют и тех, кто применяет готовую квантизацию к моделям, и тех, кто пишет ядра под конкретный ускоритель.
• Нужна редкая глубина: архитектура GPU, память, числовая точность и компиляторы плюс понимание того, как изменения влияют на качество модели.
• Опыт привязан к железу: специалист по мобильным чипам и специалист по серверным GPU — разные люди, и переучиваются они не быстро.
• Таких инженеров мало, они уже работают у производителей чипов и в AI-лабораториях, а лучших переманивают напрямую.

Что выяснить до найма Neural Network Optimization Engineer?

• Какие модели оптимизируем: LLM, компьютерное зрение, речь, рекомендации? Методы и опыт для разных типов моделей заметно отличаются.
• Какое железо: GPU NVIDIA, другие ускорители, мобильные чипы, edge-устройства? От этого зависит, из каких компаний искать кандидатов.
• Какая цель: задержка, пропускная способность, память, стоимость или запуск на конкретном устройстве? Без одной главной цели оптимизация расползается.
• Какая потеря качества допустима и как вы её измеряете? Без этого невозможно понять, удалась оптимизация или нет.
• Нужна исследовательская работа над новыми методами или применение известных к вашему стеку? Это два разных профиля и разная сложность поиска.

Где искать Neural Network Optimization Engineer?

Neural Network Optimization Engineers чаще всего приходят из AI-лабораторий, от производителей чипов и ускорителей, из компаний, которые запускают модели на устройствах (мобильные, автомобили, роботы, камеры), и из команд компиляторов и рантаймов для инференса; часть — из высокопроизводительных вычислений. Сигнал в профиле — статьи, вклад в open-source компиляторы и библиотеки оптимизации, модели, которые человек заметно ускорил. NEWHR ищет таких кандидатов по результатам работы, а не по откликам на вакансию.

Как проверить Neural Network Optimization Engineer на интервью?

Neural Network Optimization Engineer проверяют разбором модели, которую кандидат оптимизировал (с чего начинали, какие методы применили, цифры до и после, что стало с качеством), глубокими вопросами про архитектуру GPU, память и числовую точность и практическим заданием: профилировать и ускорить модель или ядро, близкие к вашей задаче. Со стороны компании участвуют Head of AI или CTO и ведущий инженер по ML или производительности.

Сильные сигналы:

• приводит цифры до и после и сразу говорит, сколько качества потеряли;
• объясняет, почему метод сработал именно на этом железе;
• сначала профилирует, потом оптимизирует.

Красные флаги:

• знает методы по названиям, но не применял их сам;
• не измерял, как оптимизация повлияла на качество;
• не различает ограничения разного железа.

Сколько длится поиск Neural Network Optimization Engineer?

Первых кандидатов на роль Neural Network Optimization Engineer показываем через 5–7 дней после брифа. Срок всего поиска зависит от железа и глубины: инженер, который пишет ядра под конкретный ускоритель или работает над компиляторами, — редкий профиль, и такой поиск дольше, чем поиск специалиста, который применяет стандартную квантизацию к готовым моделям.

Смежные роли

• AI Infrastructure / Inference Engineer — отвечает за сервинг моделей в продакшене, а не за изменение самой модели.
• ML Engineer — обучает модели и встраивает их в продукт; оптимизация начинается после него.
• MLOps / LLMOps Engineer — выстраивает деплой и мониторинг моделей, а не их производительность.
• Field Application Engineer — помогает клиентам производителя железа запускать на нём свои решения, часто включая оптимизацию моделей.