ВИКОРИСТАННЯ LLM У ДИСТАНЦІЙНОМУ НАВЧАННІ: АДАПТАЦІЯ АНГЛОМОВНИХ АЛГЕБРАЇЧНИХ ЗАВДАНЬ

Анотація

Епідемія коронавірусу та повномасштабна агресія проти нашої країни підкреслили важливість дистанційного навчання. Відповідно, зросли вимоги як до якості програмних систем, так і до викладачів, які готують курси лекцій та перевіряють засвоєння цих знань. На ринок вийшло багато безкоштовних та ко-мерційних рішень на базі великих мовних моделей  (ChatGPT, Claude, GoogleGemini та ін.), які вже використовуються студентами та учнями для підготовки своїх робіт. Інтеграція LLM/ШІ в освітній процес (зокрема, дистанційний, де важлива кількість різноманітних варіантів завдань, їх роз’яснення та тлумачення) — це новий виклик, який потребує осмислення та практичної імплементації.  Як один з можливих варіантів — адаптація відомих англомовних наборів завдань в системи дистанційного навчання вітчизняних освітян, для україномовних учнів. Проте цей процес матиме зміст лише у випадку, якщо ШІ здатен генерувати переклад (адаптацію), який буде якісним настільки, аби відповідати вимогам навчального процесу. Також учні та студенти вже пробують використовувати ШІ як помічника при розв’язанні завдань з точних наук, але точність розв’язків ШІ завдань українською мовою лишається малодослідженою. Метою даної статті є аналіз поточних можливостей для дистанційного навчального процесу в умовах активного поширення систем на базі LLM у розрізі перекладу (адаптації) англомовних завдань шкільного рівня з алгебри. Завдання статті наступні: 1) проаналізувати здатність двох популярних LLM-моделей генерувати переклад (адаптацію) алгебраїчних завдань згідно з заданими правилами; 2) проаналізувати здатність LLM-моделей розв’язувати завдання в оригінальному варіанті; 3) проаналізувати здатність LMM-моделей розв’язувати завдання в адаптованому варіанті; 4) проаналізувати можливість  LLM детально пояснити хід розв’язку завдання українською мовою. Першоджерелом для перевірки було використано набір задач GSM8K  (https://github.com/openai/grade-school-math, математичні завдання шкільного рівня, який склали професійні викладачі). Після цього ChatGPT v4 / v4 Omni та Gemini 1.5 PRO Preview адаптували 200 завдань з цього набору українською мовою з заміною англомовних імен на українські та переведення одиниць виміру (без фактичного перерахунку, просто для зручності та розуміння школярами, де був «галлон» – став «літр» та ін., долар — гривня). Для оцінки якості саме української адаптації було використано OpenSource інструмент LanguageTool (https://languagetool.org/). Додатково людиною була проведена візуальна перевір-ка на коректність адаптації вибраних питань шляхом випадкової вибірки з перекладеного масиву даних. Адаптовані завдання LLM-моделі мали зрозуміти не тільки англійською, але й  українською та розв’язати їх. Результати також були звірені з еталонними відповідями з набору. Результати виявились наступними: 1) Обидві LLM моделі продемонстрували майже однакову граматичну якість українського перекладу — близько 70%.  2) LLM продемонстрували точність розв’язку оригінальних завдань на рівні 85% (ChatGPT v4), 93.5% (ChatGTP v4 Omni) та 75% (Gemini) відповідно. Існує чітка залежність не тільки від структури підказки для системи, але і від об’єму виводу та детальності даних, які в системи вимагають Якщо LLM виконує у рамках одного запиту декілька різнопланових завдань (переклад/розв’язок) — результати математичних обчислень будуть набагато гірші, ніж коли LLM має лише детально показати шлях до фінального результату. ChatGPT на англійському варіанті показав 93.5% (85%) розв’язаних завдань, що добре корелює з результатами інших досліджень в цій галузі. 3) Для українського варіанту (адаптація ChatGPT) точність відрізнялась на 5% з оригінальною постановкою (після аналізу типових помилок та корекції адаптації). У Gemini англійський варіант — ~25%, а український (власна адаптація та адаптація ChatGPT) — ~50% помилок. 4) Обидві системи продемонстрували можливість роз’яснювати шлях розв’язання завдання, але потребують зовнішнього контролю результату. Розвиток LLM показує величезний потенціал цієї технології у системах дистанційного навчання українською мовою. Суттєва економія часу при підготовці великої кількості одноманітних завдань з англомовних джерел. ШІ демонструє здатність до аналізу задач і якість розв’язку майже не залежить від мови оригіналу завдання. На поточний момент контроль людини над результатами обчислень, запропонованих ШІ, все одно потрібен та є обов’язковим.