ОСОБЛИВОСТІ СИСТЕМ ГЕНЕРАЦІЇ З ДОПОВНЕНИМ ПОШУКОМ НА ОСНОВІ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ
Олексій Коломійцев, Дмитро Андрійович Вірич, Володимир Олександрович Комаров et al. · ГРААЛЬ НАУКИ · 2026
У статті розкрито особливості систем генерації з доповненим пошуком (RAG) на основі великих мовних моделей. Системи генерації з доповненим пошуком – це технологія, яка поєднує пошук актуальних даних у зовнішніх базах із генерацією тексту великими мовними моделями та дозволяє моделям давати точніші відповіді без необхідності повного перенавчання. Встановлено, що RAG є основною архітектурою промислових систем, які потребують обґрунтованих відповідей за приватними даними, Виявлено та кількісно охарактеризовано чотири групи обмежень промислової експлуатації. Розмежовано три рівні кешування – точний, префіксний на боці постачальника та семантичний на боці застосунку. Показано, що лише семантичний рівень виключає як вхідні, так і вихідні токени. Встановлено, що задача формування контексту є задачею відбору оптимальної підмножини під бюджетним обмеженням, а не задачею ранжування. Розглянуто кількісні межі потенційного виграшу. Простір станів в усіх відомих моделях обмежений характеристиками запиту та історією видобування і не включає ані стану семантичного кешу, ані виміряної інтенсивності дрейфу корпусу.
Cited by 0 works. doi:10.36074/grail-of-science.18.09.2026.033 Open-access PDF
Authors
- Олексій Коломійцев
- Дмитро Андрійович Вірич
- Володимир Олександрович Комаров
- Albert Katunin
- Анатолій Іванович Собора
- Костянтин Валерійович Закутін
- Вадим Лільчицький
- Олександр Коломієць
- Анатолій Михайлович Соловйов
- Юрій Вікторович Кобець
- Юрій Джуманязов
- Дмитро Андрійович Лук’янов
- Юлія Олексіївна Пятова
References
- An analysis of approximations for maximizing submodular set functions—I
- The use of MMR, diversity-based reranking for reordering documents and producing summaries
- The budgeted maximum coverage problem
- Lost in the Middle: How Language Models Use Long Contexts
- LightRAG: Simple and Fast Retrieval-Augmented Generation
- LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
- DESIGNING AND EVALUATING DL-MODEL FOR VULNERABILITY DETECTION IN SMART CONTRACTS
- HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models
- GPTCache: An Open-Source Semantic Cache for LLM Applications Enabling Faster Answers and Cost Savings
- LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression