Удаление дубликатов онлайн
Удалите повторяющиеся строки из списка или, наоборот, найдите только дубли. Сохранение первого/последнего вхождения, без учёта регистра, копирование и TXT.
Удалить дубликаты строк из списка
Инструмент удаляет дубликаты строк из одного списка или показывает только повторяющиеся значения. Основной сценарий: вставить email, ключевые слова, URL, логины или артикулы, выбрать правила сравнения и получить список без повторов.
- Вставьте список в поле ввода (по строке на элемент)
- Проверьте настройки пробелов, пустых строк и регистра
- Выберите режим: Уникальные или Только дубли
- Получите результат и сводку: сколько строк было, сколько уникальных и сколько будет удалено
- Скопируйте или скачайте TXT
Что считается дублем
Дубликат определяется через ключ сравнения. Сначала строка разбирается как элемент списка, затем к ней применяются выбранные настройки нормализации.
| Настройка | По умолчанию | Как влияет |
|---|---|---|
| Обрезать пробелы | включено | ` Иван ` и `Иван` получают одинаковый ключ сравнения |
| Игнорировать пустые | включено | пустые строки не попадают в подсчёт и результат |
| Без учёта регистра | выключено | `Иван` и `иван` считаются одним значением только после включения этой опции |
Два режима работы
| Режим | Что возвращает | Когда использовать |
|---|---|---|
| Уникальные + первое вхождение | очищенный список, остаётся первая копия | стандартная очистка email, ключевых слов, строк и логинов |
| Уникальные + последнее вхождение | очищенный список, остаётся последняя копия | списки с обновлениями, где поздняя строка важнее |
| Только дубли + по одному вхождению | список значений, которые повторяются | аудит: понять, что именно дублируется |
| Только дубли + все вхождения | все строки, чьи значения повторяются | выгрузить проблемные строки для ручной проверки |
Первое или последнее вхождение
При удалении дубликатов важно, какую из копий оставить:
- Первое вхождение (по умолчанию) — оставит ту строку, что встретилась раньше. Стандартное поведение, безопасный выбор для большинства задач.
- Последнее вхождение — оставит самую позднюю копию в списке. Полезно для выгрузок с обновлёнными строками, где новые записи добавлялись ниже старых.
Без учёта регистра для email, URL и имён
По умолчанию `Email@x.ru` и `email@x.ru` считаются разными строками. Включайте «Без учёта регистра», когда регистр в ваших данных не должен создавать отдельные значения.
- Email-адресов — для большинства рассылок адреса обычно сравнивают без учёта регистра; если у вас строгие правила, проверьте их отдельно
- Доменов и URL — доменная часть URL не зависит от регистра, но путь и параметры могут зависеть от сервера
- Имён и названий — `Иван` и `иван` — один человек
Пример удаления дубликатов
Исходный список email:
| Строки до обработки | Результат без учёта регистра | Только дубли |
|---|---|---|
| `anna@example.com` `ivan@example.com` `Anna@example.com` `olga@example.com` `ivan@example.com` | `anna@example.com` `ivan@example.com` `olga@example.com` | `anna@example.com` `ivan@example.com` |
В примере `Anna@example.com` считается повтором `anna@example.com` только при включённом сравнении без учёта регистра. Если регистр важен, эти строки останутся разными.
Сводка результата
Сводка строится по ключам сравнения: после выбранной нормализации инструмент считает уникальные значения и показывает, на сколько строк уменьшится результат.
n — количество строк после выбранных настроек; u — количество уникальных ключей сравнения; d — сколько строк будет удалено из результата; key — строка после обрезки пробелов и, если включено, приведения регистра.
- Всего строк — сколько элементов в исходном списке (после нормализации)
- Уникальных — количество разных ключей сравнения
- С дублями — сколько уникальных значений встречаются больше одного раза
- Будет удалено — на сколько строк уменьшится список после дедупа
Ограничения
- Это инструмент для строк и простых списков, а не полноценный CSV-парсер: кавычки, колонки и запятые внутри CSV-полей не анализируются.
- Если во вводе есть переносы строк, запятые и точки с запятой внутри строк не используются как разделители.
- Похожие строки не склеиваются: `Иван Петров` и `Петров Иван` останутся разными значениями.
- Для URL не выполняется нормализация домена, пути, query-параметров и завершающих слешей.
- Текущий экспорт результата — TXT. Если нужны частоты каждого значения, используйте «Подсчёт элементов списка».
Связанные страницы вынесены в штатный блок связанных инструментов.
Часто задаваемые вопросы
Похожие инструменты
Отсортируйте список по алфавиту, natural sort, числам, длине, полю строки, случайно или в обратном порядке. Локаль, дубликаты, TXT-экспорт.
Сравните два списка: совпадения, отличия, только в первом, только во втором, режимы set/multiset, диаграмма Венна и экспорт CSV/JSON.
Разбейте список на N групп или группы по N элементов. Случайное распределение, балансировка остатка, экспорт CSV/JSON/TXT.
Посчитайте строки, слова, уникальные значения, дубликаты и частоту повторов. Есть числовая статистика, фильтры, CSV/TXT/JSON и локальная обработка.