Краткий анализ методов и программных инструментов дедубликации данных в АИС «Навигатор дополнительного образования» в профиле Белгородского муниципального округа

М. В. Кизилова, Олег Сергеевич Резниченко, Асадуллаев Рустам Геннадьевич et al. · Open Access Repository (Belgorod State National Research University) · 2025

Применение методов и инструментов ИИ позволяет успешно решать проблему дублирования данных детей при регистрации на портале АИС «Навигатор дополнительного образования». Анализ описанных в общедоступных источниках методов по дедубликации текстовых массивов позволил выделить четыре: хэширование, правила эвристики, Word Embedding (word2vec), Библиотека Python Dedupe. Критерием эффективности методов является получение на выходе списка на удаление данных и списка для анализа экспертом. В полной мере этому требованию соответствует эвристический алгоритм

Cited by 0 works.

Authors