Шлюзы к языковым моделям
Единая точка входа для всех сервисов компании: маршрутизация по задаче, переключение между провайдерами, лимиты, учёт расходов.
02 / DEV
Разработка и внедрение AI-систем
Строим системы, которые переживают отказ провайдера, всплеск нагрузки и смену модели. Мониторинг ставится вместе с решением, а не после первого сбоя.
Разница между демонстрацией и работающей системой - в том, что происходит, когда что-то ломается. Провайдер упёрся в лимит, модель ответила мусором, сервис недоступен. Демонстрация в этот момент показывает ошибку, работающая система переключается и продолжает.
Мы пишем сразу второй вариант, потому что сами эксплуатируем то, что делаем, и просыпаться ночью от собственных ошибок никому не хочется.
Поиск по своим документам
Векторная база и модель отвечают на вопросы по вашим материалам: регламентам, базе знаний, переписке, документации.
Агенты и автоматизация
Системы, которые выполняют многошаговые задачи: собирают данные, готовят черновики, следят за состоянием и сообщают о важном.
Интеграции
Связываем AI с тем, что уже работает: CRM, рекламные кабинеты, базы, мессенджеры, внутренние сервисы.
На чём это основано
Наш собственный шлюз обслуживает несколько продуктов сразу. Если провайдер отвечает отказом по лимиту или ошибкой сервера, запрос уходит следующему по списку, а сломавшийся временно исключается, чтобы не тянуть за собой остальных. Локальные модели на своём железе стоят в конце цепочки бесплатным резервом. Пользователь сбоя не замечает.
Что получаете
- Работающая система с метриками, логами и оповещениями
- План отката на каждое изменение
- Документация, по которой систему может подхватить другая команда
- Предсказуемая стоимость эксплуатации
Когда не нужно
- Если нужна разовая генерация текстов - хватит готового сервиса по подписке
- Если систему некому будет сопровождать, мы предложим решение попроще
Если задача не наша, скажем на первом разговоре и по возможности подскажем, к кому идти.
Частые вопросы
Что происходит, если провайдер моделей недоступен?
Запрос уходит следующему провайдеру из списка. Сломавшийся исключается на время, потом проверяется снова. В конце цепочки стоят локальные модели, поэтому полный отказ означал бы отказ вашего собственного сервера.
Данные уходят к внешним провайдерам?
Только если вы этого хотите. Там, где конфиденциальность важнее последних процентов качества, мы ставим модели на вашем железе, и данные не покидают контур.
Кто сопровождает систему после внедрения?
Можем мы, можете вы. Во втором случае оставляем документацию и передаём знания: как развёрнуто, что ломается чаще всего, что делать при отказе.
Как понять, что система работает правильно?
По метрикам, которые ставятся вместе с ней. Система, о поломке которой узнают от клиента, считается неработающей.
Расскажите про задачу
Посмотрим, где AI даст эффект, а где обойдётся дороже пользы.