Аудит внедрённого
Смотрим, что стоит, как связано и во что обходится. Отдельно - расходы на модели, отдельно - на инфраструктуру.
03 / CONSULTING
Аудит и сопровождение AI-решений
Разбираемся, почему внедрённое решение не даёт результата. Чаще всего дело не в модели, а в том, что измеряют не то и не там.
Типичная картина: система внедрена, деньги потрачены, а эффекта не видно. Причина редко бывает в качестве модели. Обычно ломается что-то в измерении: событие срабатывает не на том шаге, метрика считает не то, отчёт показывает цифру, которая ни на что не влияет.
Аудит начинается с проверки того, что вообще измеряется, и только потом переходит к самому решению.
Проверка измерений
Проверяем, что события срабатывают там, где нужно, и что цифры в отчёте отражают реальность.
Где AI лишний
Отмечаем места, где модель заменяется правилом или обычным кодом: это дешевле, быстрее и предсказуемее.
План работ
Список изменений по приоритету: что даст эффект сразу, что потребует переделки, что можно не трогать.
На чём это основано
Показательный случай из нашей практики: рекламный кабинет месяцами показывал ноль конверсий по важной цели. Проблема оказалась не в рекламе и не в модели: событие отправлялось на шаге, до которого пользователи просто не доходили. Люди получали результат и уходили, а система считала, что результата не было. Перенос события на правильный шаг вернул реальную картину, и только после этого стало возможно оптимизировать кампании.
Что получаете
- Отчёт: что работает, что нет, что стоит денег впустую
- Исправленные измерения, которым можно верить
- План работ по приоритету с оценкой эффекта
- Понимание реальной стоимости эксплуатации
Когда не нужно
- Если решения ещё нет, аудировать нечего - это задача проектирования
- Если нужен формальный документ для отчётности, а не изменения
Если задача не наша, скажем на первом разговоре и по возможности подскажем, к кому идти.
Частые вопросы
Что нужно от нас для аудита?
Доступ к тому, что уже работает, и человек, который знает процесс изнутри. Без второго аудит превращается в чтение кода без понимания, зачем он написан.
Вы работаете с системами, которые делали не вы?
Да, это основная часть аудитов. Чужой код мы читаем, а не переписываем: задача - понять, что происходит, а не заменить всё на своё.
Сколько стоит эксплуатация AI-решения?
Зависит от нагрузки и выбора моделей, и разброс тут в десятки раз. Часть аудита - как раз посчитать эту цифру для вашего случая и показать, где она снижается без потери качества.
Расскажите про задачу
Посмотрим, где AI даст эффект, а где обойдётся дороже пользы.