Внутрішній та приватний AIПриватне розгортанняCASE_04
Розгортання повністю ізольованої від мережі системи ШІ для юридичної фірми на її власній інфраструктурі
Провідна британська юридична фірма (практики M&A та судових спорів, проєкт IV квартал 2023 → I квартал 2024), де будь-якого комерційного хмарного постачальника ШІ виключили в перший же день через зобов'язання конфіденційності перед клієнтами: жодні дані не виходять за периметр фірми, без винятків. Mistral 7B, дотренована на ~40 000 анотованих пунктах договорів (4-бітний GGUF), працює через vLLM на двох локальних серверах A100 80GB за внутрішнім API. Права доступу до документів застосовуються на рівні запитів до векторної бази, команда справи отримує доступ лише до власних документів. Час перегляду договору скоротився з приблизно 6 годин до приблизно 12 хвилин. Внутрішня ІТ-команда провела свій перший самостійний цикл перенавчання через 3 тижні після передачі.
0
Даних виходить за периметр
6hr→12min
Час перегляду договору
100%
Команда самостійна на момент передачі
Виклик
Команди судових спорів і M&A фірми витрачали 6+ годин на первинний перегляд одного договору. Будь-який комерційний варіант ШІ передбачав, що дані покидають середовище фірми, а це було неприйнятно через зобов'язання конфіденційності перед клієнтами.
Обмеження були жорсткими: жодних зовнішніх викликів API, жодного хостингу моделі в хмарі, модель має працювати на наявному локальному обладнанні, а система має бути керованою внутрішньою ІТ-командою після передачі.
Наш підхід
Discovery & Blueprint підтвердив специфікацію обладнання: два сервери A100 80GB. Ми обрали Mistral 7B із дотренуванням на юридичному домені на 40 000 анотованих пунктах договорів. Модель працює через vLLM за внутрішнім API, підключеним до системи документообігу фірми. Усі ембединги використовують локально розгорнуту багатомовну модель E5.
Права доступу до документів застосовуються на рівні запитів до векторної бази: команда справи отримує доступ лише до власних документів.
Результат
Первинний перегляд договору скоротився з приблизно 6 годин до приблизно 12 хвилин. Жодні дані не виходять за межі інфраструктури фірми. Внутрішня ІТ-команда провела свій перший самостійний цикл перенавчання через 3 тижні після передачі. Документацію архітектури перевірив і затвердив CISO фірми.
Чого ми навчились
01
Обмеження ізоляції від мережі закладаються в архітектуру з першого дня, а не додаються заднім числом.
02
Квантизовані моделі з відкритою вагою на наявному локальному обладнанні придатні для продакшну.
03
Передача спроможності потребує свідомого проєктування: інструкцій з експлуатації, навчання, супроводжуваної передачі.
Залучені етапи
Discovery & Blueprint
Перевірка концепції
Продакшн-розробка
Загальна тривалість
5 місяців загалом
Передані артефакти
PRD
Блюпринт приватної інфраструктури
Специфікація файн-тюнінгу
WBS
Інструкція для ІТ
Огляд архітектури від CISO
Почніть із дзвінка з оцінки доцільності
2 години, безкоштовно. Чесно скажемо, чи має сенс ШІ саме для вашого випадку.