Точність 99,7% в узагальненні клінічних записів для регуляторної відповідності

Узагальнення клінічних записів із точністю 99,5%+ є справді складною задачею. Розрив між 96% і 99,5% не є питанням тюнінгу моделі: на такому рівні він є архітектурним. Потрібно знати, у яких випадках модель невпевнена, і обробляти їх інакше.

Наша архітектура запровадила багатоетапну систему валідації. Кожне узагальнення проходить через чотири послідовні перевірки: фактичну відповідність (зіставлення на рівні токенів із вихідним записом), валідацію медичних сутностей (згадані сутності мають існувати у вихідному тексті й розпізнаватися у зрізі SNOMED), повноту (жоден обов'язковий розділ не пропущено) і оцінку впевненості. Випадки з низькою впевненістю спрямовуються до черги перевірки людиною. Болючий момент: перша версія шлюзу медичних сутностей хибно позначала абревіатури, якими насправді користуються клініцисти («LBP» для болю в попереку, «SOB» для задишки). На четвертому тижні перевірки ми перебудували його на доменно-налаштований NER із каноналізацією, який знає абревіатурні конвенції відповідної спеціальності. Модель дотренували на ~15 000 анотованих клінічних записах. Ми також анотували самі помилки, як виглядає неправильне узагальнення, що дало шлюзу впевненості достатньо сигналу для виявлення складних випадків.

99,7% точності в продакшні за 6 місяців на 1,4 млн узагальнень. Черга перевірки людиною обробляє ~0,3% випадків. Повний аудиторський слід для кожного узагальнення. Подання регулятору прийняли з першого разу.