Краткий анализ методов и программных инструментов дедубликации данных в АИС «Навигатор дополнительного образования» в профиле Белгородского муниципального округа
М. В. Кизилова, Олег Сергеевич Резниченко, Асадуллаев Рустам Геннадьевич et al. · Open Access Repository (Belgorod State National Research University) · 2025
Применение методов и инструментов ИИ позволяет успешно решать проблему дублирования данных детей при регистрации на портале АИС «Навигатор дополнительного образования». Анализ описанных в общедоступных источниках методов по дедубликации текстовых массивов позволил выделить четыре: хэширование, правила эвристики, Word Embedding (word2vec), Библиотека Python Dedupe. Критерием эффективности методов является получение на выходе списка на удаление данных и списка для анализа экспертом. В полной мере этому требованию соответствует эвристический алгоритм
Cited by 0 works.