Проблематика консистентності великих мовних моделей при навчанні з підкріпленням
Л. Р. Кулик, О. Б. Мокін, L. Kulyk et al. · Repository of Vinnytsia National Technical University (Vinnytsia National Technical University) · 2025
Навчання з підкріпленням (RL), зокрема методи RLHF та DPO, стало стандартом для створення агентів на основі великих мовних моделей (LLM). Однак, ці підходи стикаються з двома фундаментальними проблемами: неконсистентністю поведінки агента та значною обчислювальною неефективністю. Як альтернативне рішення до сучасних підходів запропоновано навчання на основі багатовимірної винагороди та диференційованої критики. Такий підхід дозволяє виконувати цілеспрямоване оновлення політики, системно виправляючи конкретні аспекти поведінки. Це не лише підвищує консистентність агента, але й радикально покращує обчислювальну ефективність, оскільки кожна ітерація навчання несе значно більше інформації. Таким чином, відкриваючи шлях до створення більш надійних, логічно послідовних та ефективних у навчанні автономних агентів.
Cited by 0 works. Open-access PDF