Стандарты качества (SLA)
Раскрываем внутреннюю кухню Data-инженерии. Как мы боремся за чистоту баз в условиях постоянно меняющегося веба
TL;DRКраткая выжимка
- В автоматизированном парсинге нет абсолютных гарантий 100% точности или полноты.
- Однако мы прикладываем максимум усилий для сбора максимально качественных данных.
- Мы обеспечиваем глубокую дедупликацию и валидацию форматов контактов.
- Наши инструменты регулярно обновляются под изменения на сайтах-источниках.
Мы не продаем «идеальные» базы и не даем 100% гарантий
Потому что их не существует в природе. В автоматизированном парсинге нет абсолютных гарантий итогов, и базы не всегда бывают на 100% точными. Это связано с ежедневной борьбой с анти-скрейпинг защитами, капчами, нестабильной версткой и устаревающей информацией на источниках.
Однако мы прикладываем максимум усилий для достижения хорошего результата и внедрили строгие внутренние стандарты качества. Мы стремимся к тому, чтобы вы получали максимально чистый, структурированный и валидный массив данных.
4 столпа очистки данных
Глубокая дедупликация
Мы агрессивно объединяем дубликаты на уровне ИНН/ОГРН и контактных данных. Если филиалы компании используют один номер или сайт, в итоговой выгрузке он будет отмечен как основной. Мы убираем пустые филиалы (без контактов), чтобы вы не платили за «мертвые души».
Валидация форматов
Работают регулярные выражения (RegEx). Все телефонные номера очищаются от скобок и пробелов, приводясь к единому формату +7999.... Все email-адреса типа info@.ru или user@mail удаляются еще на этапе предсборки.
Регулярность обновлений
Мы принципиально не храним исторические дампы старее 3 месяцев. Базы данных постоянно актуализируются. Если карточка юридического лица находится в статусе «Ликвидировано ФНС», мы помечаем это или удаляем из стандартной выгрузки (в зависимости от настроек вашего фильтра).
Автоматический парсинг
В процессе парсинга мы используем самообучающиеся алгоритмы, которые распознают элементы страницы. Мы не полагаемся на жесткие CSS-селекторы, которые могут измениться в любой момент. Мы умеем обходить Cloudflare и другие защиты, что делает нас стабильнее многих других решений.
Остались вопросы по условиям?
Наша служба поддержки и юридический отдел всегда на связи.