Обезличивание документов перед нейросетью — на своём сервере

Что делает

Один запрос в нейросеть — и паспорт клиента уже на чужом сервере. Тайна клиента так не работает, и обычно на это отвечают запретом. Выход — отдавать нейросети обезличенную копию. Обезличиватель убирает из документа всё, по чему опознаются клиент и дело, до того как текст уйдёт в любую внешнюю модель. ФИО, паспорта, ИНН, счета, телефоны, адреса, суды и номера дел заменяются понятными метками вроде [КЛИЕНТ_1] — одна метка на человека во всём деле, в каком бы падеже ни стояло имя. Всё считается на своём сервере, без интернета. В конце документ получает статус: красный — нельзя отдавать, жёлтый — проверит человек, зелёный — можно работать; отправлять ли наружу, решает человек. На 62 вымышленных документах (1 088 размеченных элементов) сервис находит 99,1% чувствительных данных, 53 документа — без единого пропуска, лишнего скрыто 6%. Это нижняя граница уверенности, а не гарантия.

Как устроено в двух словах

Три уровня поиска: правила с контрольными суммами, модели Natasha и ruBERT для имён в живом тексте и, по желанию, локальная LLM, которая ищет пропущенное в уже очищенном тексте. Всё работает в Docker без выхода в интернет, хватает CPU. Из DOCX и PDF вычищаются ещё и метаданные, правки, комментарии, скрытый текст.