Удаление дубликатов онлайн
Вставьте список и удалите повторяющиеся строки онлайн: оставить первое или последнее вхождение, найти только дубли, обрезать пробелы, сравнивать без учёта регистра, скопировать или скачать TXT.
Удалить дубликаты строк из списка
Инструмент удаляет дубликаты строк из одного списка или показывает только повторяющиеся значения. Основной сценарий: вставить email, ключевые слова, URL, логины или артикулы, выбрать правила сравнения и получить список без повторов.
- Вставьте список в поле ввода (по строке на элемент)
- Проверьте настройки пробелов, пустых строк и регистра
- Выберите режим: Уникальные или Только дубли
- Получите результат и сводку: сколько строк было, сколько уникальных и сколько будет удалено
- Скопируйте или скачайте TXT
Что считается дублем
Дубликат определяется через ключ сравнения. Сначала строка разбирается как элемент списка, затем к ней применяются выбранные настройки нормализации.
| Настройка | По умолчанию | Как влияет |
|---|---|---|
| Обрезать пробелы | включено | ` Иван ` и `Иван` получают одинаковый ключ сравнения |
| Игнорировать пустые | включено | пустые строки не попадают в подсчёт и результат |
| Без учёта регистра | выключено | `Иван` и `иван` считаются одним значением только после включения этой опции |
Два режима работы
| Режим | Что возвращает | Когда использовать |
|---|---|---|
| Уникальные + первое вхождение | очищенный список, остаётся первая копия | стандартная очистка email, ключевых слов, строк и логинов |
| Уникальные + последнее вхождение | очищенный список, остаётся последняя копия | списки с обновлениями, где поздняя строка важнее |
| Только дубли + по одному вхождению | список значений, которые повторяются | аудит: понять, что именно дублируется |
| Только дубли + все вхождения | все строки, чьи значения повторяются | выгрузить проблемные строки для ручной проверки |
Первое или последнее вхождение
При удалении дубликатов важно, какую из копий оставить:
- Первое вхождение (по умолчанию) — оставит ту строку, что встретилась раньше. Стандартное поведение, безопасный выбор для большинства задач.
- Последнее вхождение — оставит самую позднюю копию в списке. Полезно для выгрузок с обновлёнными строками, где новые записи добавлялись ниже старых.
Без учёта регистра для email, URL и имён
По умолчанию `Email@x.ru` и `email@x.ru` считаются разными строками. Включайте «Без учёта регистра», когда регистр в ваших данных не должен создавать отдельные значения.
- Email-адресов — для большинства рассылок адреса обычно сравнивают без учёта регистра; если у вас строгие правила, проверьте их отдельно
- Доменов и URL — доменная часть URL не зависит от регистра, но путь и параметры могут зависеть от сервера
- Имён и названий — `Иван` и `иван` — один человек
Пример удаления дубликатов
Исходный список email:
| Строки до обработки | Результат без учёта регистра | Только дубли |
|---|---|---|
| `anna@example.com` `ivan@example.com` `Anna@example.com` `olga@example.com` `ivan@example.com` | `anna@example.com` `ivan@example.com` `olga@example.com` | `anna@example.com` `ivan@example.com` |
В примере `Anna@example.com` считается повтором `anna@example.com` только при включённом сравнении без учёта регистра. Если регистр важен, эти строки останутся разными.
Сводка результата
Сводка строится по ключам сравнения: после выбранной нормализации инструмент считает уникальные значения и показывает, на сколько строк уменьшится результат.
n — количество строк после выбранных настроек; u — количество уникальных ключей сравнения; d — сколько строк будет удалено из результата; key — строка после обрезки пробелов и, если включено, приведения регистра.
- Всего строк — сколько элементов в исходном списке (после нормализации)
- Уникальных — количество разных ключей сравнения
- С дублями — сколько уникальных значений встречаются больше одного раза
- Будет удалено — на сколько строк уменьшится список после дедупа
Ограничения
- Это инструмент для строк и простых списков, а не полноценный CSV-парсер: кавычки, колонки и запятые внутри CSV-полей не анализируются.
- Если во вводе есть переносы строк, запятые и точки с запятой внутри строк не используются как разделители.
- Похожие строки не склеиваются: `Иван Петров` и `Петров Иван` останутся разными значениями.
- Для URL не выполняется нормализация домена, пути, query-параметров и завершающих слешей.
- Текущий экспорт результата — TXT. Если нужны частоты каждого значения, используйте «Подсчёт элементов списка».
Часто задаваемые вопросы
Похожие инструменты
Отсортируйте список онлайн по алфавиту, natural sort, числам, длине или полю строки. Можно удалить пустые строки, дубликаты, учесть регистр и скачать TXT.
Сравните два списка онлайн: общие элементы, только в A, только в B, дубликаты set/multiset, диаграмма Венна и экспорт CSV/JSON.
Разбейте список на N групп или группы по N элементов. Случайное распределение, балансировка остатка, экспорт CSV/JSON/TXT.
Вставьте список или текст и посчитайте строки, слова, уникальные значения, дубликаты и частоту повторов. Настройки пустых строк, регистра и экспорт CSV.