Автогенерація 10 000 практичних запитань з навчальних матеріалів на рівні якості іспиту

Компанія з підготовки до K-12 іспитів (проєкт кінця 2023 року, ~$800 тис. на рік попередніх витрат на ручне складання запитань) уже пробувала обгортати GPT-4 напряму. Предметні експерти відхиляли близько 60% запитань, згенерованих ШІ, як занадто прості або неоднозначні: вони перевіряли запам'ятовування, а не розуміння. Наш пайплайн примушує генерацію з урахуванням таксономії Блума (розбір навчальної програми → побудова промпту з міткою когнітивного рівня → автоматичний фільтр якості, натренований на власних прикладах клієнта «прийнято/відхилено»). Прийняття експертами досягло 91% до кінця Перевірки концепції; вартість прийнятого запитання −74% проти ручного складання. Пайплайн тепер використовують як інструмент для першої чернетки, експерти допрацьовують верхні 9%, замість того щоб писати з нуля.