Локальная инференция и ИИ на устройстве: данные не покидают компанию — разбираем по существу, с опорой на актуальные требования и практику.
Что это
Запуск моделей на ваших серверах или устройствах, без отправки данных во внешний сервис.
Когда применять
Для персональных, медицинских, банковских данных и контуров КИИ. Для значимых объектов КИИ действует запрет на использование иностранного ПО с 1 января 2025 года (187-ФЗ, Указ № 166). Средства защиты информации должны быть сертифицированы ФСТЭК, а реагирование на инциденты идёт через ГосСОПКА (ФСБ).
Как реализовать
osFoundry — это гибридная платформа оркестрации ИИ: модель BYOK (вы подключаете собственные ключи моделей), доступный исходный код (source-available), развёртывание в собственной инфраструктуре и локальная инференция (через llama.cpp), при которой данные не покидают ваш периметр.
Независимость и честность
dgm — независимый партнёр по интеграции (не аффилирован с osFoundry / OS LLC) и не является юридическим консультантом. У dgm пока нет завершённых клиентских интеграций, поэтому сценарии ниже описаны как типичные или возможные, а не как выполненные проекты.
Итог
Архитектуру с резидентностью данных в России dgm выстраивает на платформе osFoundry (BYOK, отечественные и открытые модели). Свяжитесь с dgm, чтобы обсудить ваш сценарий и спланировать архитектуру.