«Окно» в LLM: как компании из России найти безопасную альтернативу ChatGPT

Одно из ключевых направлений Just AI — разработка решений на базе генеративного AI для бизнеса. Чтобы выяснить, сталкиваются ли российские компании с проблемами при интеграции популярных облачных LLM, мы проверили две гипотезы: имеют ли компании проблемы с доступом к ChatGPT API и является ли блокером отправка в облако конфиденциальных данных?

Фаворит среди LLM

Согласно Вордстату, наиболее популярной облачной языковой моделью в русскоязычном сегменте остаётся ChatGPT. Интерес к API ChatGPT больше, чем к API других популярных облачных моделей вместе взятых.

Кому с ChatGPT жить хорошо

Большинство компаний, интегрирующих ChatGPT, не сталкивается со значительными трудностями при доступе и оплате услуг сервиса OpenAI. Компании разработали специализированные скрипты для анонимизации данных перед отправкой в OpenAI.

Однако качество маскирования данных с помощью таких скриптов вызывает вопросы. Мы в Just AI постоянно работаем над повышением точности выделения и замены именованных сущностей (ФИО, локации и т.д.) в нашем продукте Jay Guard и знаем, насколько непростой является эта задача.

Self-hosted LLM

Есть компании, которым приходится преодолевать серьёзные препятствия, чтобы задействовать потенциал LLM. В основном это касается тех, кто взаимодействует с государственными учреждениями или организациями, обязующимися строго соблюдать федеральный закон о персональных данных.

Альтернативу они находят в больших языковых моделях с открытым исходным кодом (self-hosted LLM), которые могут быть развёрнуты локально на серверах компании.

Как протестировать и выбрать подходящую LLM?

Команда Just AI разработала приложение Multi Chat. Этот инструмент позволяет тестировать и сравнивать различные генеративные модели — как облачные, так и self-hosted.

В числе поддерживаемых моделей: ChatGPT, Gemini, Claude, GigaChat, YandexGPT, Llama 3.1, Qwen2.

Платформа Caila поддерживает установку локально на сервера компании. А для маскировки и фильтрации чувствительных данных можно подключить систему Jay Guard. Все данные, уходящие из закрытого контура компаний во внешние LLM, анонимизируются и отправляются в безопасном виде.