Успадкування і виправлення зламаного ШІ для тріажу пацієнтів після зникнення підрядника
Багатопрофільна лікарня середнього розміру за моделлю NHS (проєкт II квартал 2024), де попередній підрядник постачив класифікатор тріажу і припинив діяльність, а модель залишалася в продакшні, генеруючи неправильні оцінки тріажу для ~8% пацієнтів, без жодної документації, доступу до коду чи карток моделі. Ми реконструювали наявну модель за її результатами (спершу трактуючи результати як істину, поки не зрозуміли причину збоїв), виявили систематичне заниження тріажу для літніх пацієнтів з атиповими проявами і випустили патч стабілізації протягом двох тижнів. Далі повністю перебудували модель тріажу на 5-річних даних госпіталізацій лікарні за участі клінічного управління на кожному рішенні щодо вибору ознак і встановлення порогів. Точність тріажу 97,3% на відкладених даних, перевірена й затверджена радою клінічного управління. Непотрібні госпіталізації до невідкладної допомоги скоротилися приблизно на 40%. Лікарня тепер володіє повною моделлю, пайплайном тренування та стеком моніторингу.
97.3%
Точність тріажу
−40%
Зайві госпіталізації до невідкладної допомоги
6wk
Час до стабільного продакшну
Виклик
Підрядник постачив модель класифікації тріажу, а потім припинив діяльність. Модель була в продакшні, але генерувала неправильні оцінки тріажу для ~8% пацієнтів, і не було жодної документації, доступу до коду чи карток моделі.
Лікарні терміново потрібно було стабілізувати систему, а потім перебудувати її до стандарту, здатного пройти перевірку клінічним управлінням.
Наш підхід
Аудит готовності до ШІ мав криміналістичний характер: ми реконструювали наявну модель за її результатами, виявили режими збоїв (систематичне заниження тріажу для літніх пацієнтів з атиповими проявами) і побудували патч стабілізації протягом 2 тижнів.
Потім ми повністю перебудували модель тріажу, використовуючи 5-річні дані госпіталізацій лікарні, за участі клінічного управління на кожному етапі вибору ознак і встановлення порогів.
Результат
Точність тріажу: 97,3% на відкладених клінічних даних, перевірена й затверджена радою клінічного управління лікарні. Непотрібні госпіталізації до невідкладної допомоги скоротилися на 40%. Документація клінічного управління завершена. Лікарня тепер володіє повною моделлю, пайплайном тренування та стеком моніторингу.
Чого ми навчились
01
Прив'язка до постачальника в ML-моделях є ризиком керування: завжди вимагайте повної документації моделі й можливості перенесення на етапі укладання контракту.
02
Криміналістична діагностика зламаної моделі вимагає трактувати її результати як істину, поки не зрозумієш причину збоїв.
03
Залучення клінічних фахівців до вибору ознак не є опційним: саме так отримують затвердження клінічного управління.
Залучені етапи
Аудит готовності до ШІ
Discovery & Blueprint
Продакшн-розробка
Загальна тривалість
4 місяці загалом
Передані артефакти
PRD
Документація клінічного управління
Картки моделі
WBS
Інструкція для ІТ
Специфікація панелі моніторингу
Почніть із дзвінка з оцінки доцільності
2 години, безкоштовно. Чесно скажемо, чи має сенс ШІ саме для вашого випадку.