Підвищення завершуваності курсів на 41% за допомогою ШІ, що враховує стан учня
B2C-платформа для навчання професійних навичок (близько 180 тис. активних користувачів на місяць, проєкт 2023 року), де попередня модель прогнозування завершення мала непогану точність на відкладеній вибірці, але була марною на практиці: вона позначала учнів у зоні ризику на 28-й день 30-денного курсу, не залишаючи часу на втручання. Наша трикомпонентна архітектура, модель стану учня (граф знань і теорія відповіді на завдання), система раннього попередження, налаштована на випереджальні індикатори (частота сесій, частка повторних переглядів, використання підказок) замість запізнілих даних про результат, і рушій рекомендацій щодо втручань, тепер позначає учнів у зоні ризику вже на 5-й день. Викладачі реагують на 82% рекомендацій; завершуваність курсів зросла на 41% у когортах із позначенням і втручанням проти контрольної групи.
+41%
Завершуваність курсу
3wk
Раніше виявлення ризику
82%
Частка реакцій на втручання
Виклик
Платформа активно інвестувала в новий контент, тоді як завершуваність курсів продовжувала падати. Попередня модель прогнозування завершення мала непогану точність на відкладеній вибірці, але була марною на практиці: вона позначала учнів на 28-й день 30-денного курсу, не залишаючи часу на втручання.
Наш підхід
Аудит готовності до ШІ виявив три основні проблеми: (1) дані про залученість існували розрізнено в LMS, email і застосунку; (2) попередня модель використовувала дані про результат, які надходили запізно; (3) бракувало метаданих про складність контенту.
Discovery & Blueprint дав трикомпонентну архітектуру: модель стану учня (граф знань і теорія відповіді на завдання), систему раннього попередження на випереджальних індикаторах, налаштовану позначати учнів у зоні ризику вже на 5-й день, і рушій рекомендацій щодо втручань для викладачів.
Результат
Завершуваність курсів зросла на 41% у когортах із позначенням і втручанням проти контрольної групи. Система раннього попередження виявляє учнів у зоні ризику на 3 тижні раніше. Викладачі реагують на 82% рекомендацій щодо втручань. Шар калібрування складності контенту став окремою продуктовою функцією.
Чого ми навчились
01
Точність прогнозу не тотожна практичній корисності.
02
Випереджальні індикатори (патерни сесій, частка повторних переглядів) працюють краще за запізнілі дані про результат для раннього попередження.
03
Якість метаданих контенту є передумовою для будь-якого навчального ШІ.
Залучені етапи
Аудит готовності до ШІ
Discovery & Blueprint
Перевірка концепції
Продакшн-розробка
Загальна тривалість
6 місяців загалом
Передані артефакти
PRD
Специфікація моделі стану учня
Архітектура раннього попередження
WBS
Бриф UX для викладачів
Почніть із дзвінка з оцінки доцільності
2 години, безкоштовно. Чесно скажемо, чи має сенс ШІ саме для вашого випадку.