Одно из ключевых направлений Just AI — разработка решений на базе генеративного AI для бизнеса. Чтобы выяснить, сталкиваются ли российские компании с проблемами при интеграции популярных облачных LLM, мы проверили две гипотезы: имеют ли компании проблемы с доступом к ChatGPT API и является ли блокером отправка в облако конфиденциальных данных?
Фаворит среди LLM
Согласно Вордстату, наиболее популярной облачной языковой моделью в русскоязычном сегменте остаётся ChatGPT. Интерес к API ChatGPT больше, чем к API других популярных облачных моделей вместе взятых.
Решение для поиска компаний, интегрирующих ChatGPT, оказалось простым — вакансии на HeadHunter. Введя «ChatGPT» и «LLM», мы нашли компании, ищущие специалистов с навыками программирования и знанием OpenAI API. В течение недели удалось провести интервью с представителями нескольких десятков компаний.
Кому с ChatGPT жить хорошо
Большинство компаний, интегрирующих ChatGPT, не сталкивается со значительными трудностями при доступе и оплате услуг сервиса OpenAI. Вопрос конфиденциальности данных также менее критичен, чем можно было бы подумать. Компании разработали специализированные скрипты для анонимизации данных перед отправкой в OpenAI.
Однако качество маскирования данных с помощью таких скриптов вызывает вопросы. Мы в Just AI постоянно работаем над повышением точности выделения и замены именованных сущностей (ФИО, локации и т.д.) в нашем продукте Jay Guard и знаем, насколько непростой является эта задача. NER-модели для русского языка далеко не всегда точно распознают фамилии, а использование для этого LLM требует большого объёма вычислительных мощностей.
Self-hosted LLM
Есть компании, которым приходится преодолевать серьёзные препятствия, чтобы задействовать потенциал LLM. В основном это касается тех, кто взаимодействует с государственными учреждениями или организациями, обязующимися строго соблюдать федеральный закон о персональных данных. Эти компании вынуждены искать альтернативы из-за регуляторных ограничений.
Альтернативу они находят в больших языковых моделях с открытым исходным кодом (self-hosted LLM), которые могут быть развёрнуты локально на серверах компании. Однако самостоятельная установка и тестирование таких моделей требует значительных ресурсов — времени, денег и экспертизы в области MLOps.
Как протестировать и выбрать подходящую LLM?
Понимая потребности рынка, команда Just AI разработала приложение Multi Chat. Этот инструмент позволяет тестировать и сравнивать различные генеративные модели — как облачные, так и self-hosted.
В числе поддерживаемых моделей:
- ChatGPT
- Gemini
- Claude
- GigaChat
- YandexGPT
- Llama 3.1
- Qwen2
Пользователи могут одновременно вести диалог с выбранными моделями, следя за генерацией ответов в реальном времени. В конце диалога можно оценить ответы и выбрать наиболее подходящую модель по совокупности параметров.
Платформа Caila поддерживает установку локально на сервера компании для обеспечения максимальной безопасности. А для маскировки и фильтрации чувствительных данных можно подключить систему Jay Guard. Все данные, уходящие из закрытого контура компаний во внешние LLM, анонимизируются и отправляются в безопасном виде.
Источник: Хабр
Источник: https://habr.com/ru/companies/just_ai/articles/831156/