О разработке подхода к автоматизированному сбору и интеллектуальной обработке данных с применением методов веб-скрейпинга и больших языковых моделей (на примере задачи по извлечению оценок уровней готовности технологий)

F. M. Grozovskiy, Логинова Ирина Владимировна · Научно-техническая информация Серия 2 Информационные процессы и системы · 2025

Предлагается подход к автоматизированному извлечению и структурированию информации из текста, сочетающий веб-скрейпинг для сбора данных из онлайнисточников и большую языковую модель для их последующей интеллектуальной обработки. В качестве объекта исследования выбраны тексты новостных публикаций об уровнях готовности технологий с сайта CNews для апробации разработанной методики в рамках конкретной предметной области. Точность выделения моделью оценок технологической готовности составила 84-85%, что сопоставимо с аналогичными результатами в других, менее специализированных задачах. The paper proposes an approach to the automated extraction and structuring of information from text, combining web scraping for data collection from online sources with a large language model for subsequent data mining. As a case study, texts from news publications on technology readiness levels from the CNews website were chosen to test the developed methodology within a specific domain. The model’s accuracy in identifying technology readiness assessments was 84-85%, which is comparable to similar results in other, less specialised tasks.

Cited by 0 works. doi:10.36535/0548-0027-2025-08-3

Authors