Шлях AI-репетитора від обгортки над GPT до продакшн-системи, безпечної для акредитації

EdTech-стартап на стадії Series A (проєкт I квартал 2024, навчальна програма сертифікаційного треку) побудував AI-репетитора, обгорнувши GPT-4 системним промптом. У демо він працював достатньо добре, але акредитаційний орган виявив дві критичні проблеми: (1) репетитор іноді галюцинував факти з навчальної програми; (2) не було жодного аудиторського сліду того, які поради отримували студенти. Акредитаційний орган вимагав 100% відповідей, обґрунтованих навчальною програмою, і повного журналу аудиту розмов. Ми замінили вільну генерацію на архітектуру RAG, повністю обґрунтовану на акредитованих навчальних документах: LLM може генерувати відповіді лише зі знайдених фрагментів, ніколи вільно. Кожна розмова журналюється разом із фрагментом, що обґрунтував відповідь. Акредитацію пройдено з першого разу; нуль галюцинованих фактів навчальної програми за 6 місяців продакшн-використання; задоволеність студентів +55%.