Что такое Удаление дублирующихся строк?

Удаление дублирующихся строк убирает повторяющиеся строки из любого текста. Вставьте список, лог-файл или набор данных и получите только уникальные строки в исходном порядке или отсортированными по алфавиту в обе стороны, по длине или в случайном порядке.

Строки сравниваются после необязательной обрезки пробелов и приведения регистра, поэтому 'Apple', 'apple ' и ' apple' сливаются в одну запись, если включить соответствующие переключатели. Панель «До» подсвечивает каждую группу дубликатов со счётчиком, чтобы было видно, что именно объединилось. Поставьте «Оставить» в режим «Убрать все повторы», чтобы остались только строки, встречающиеся ровно один раз. Лимита на число строк нет, можно вставить текст или загрузить файл .txt либо .csv прямо с устройства — ничего никуда не отправляется.

Как использовать

1. Вставьте или введите текст с повторяющимися строками в поле ввода.
2. Настройте параметры: учёт регистра, обрезка пробелов, сохранение первой или последней копии и выбор порядка сортировки вывода.
3. Очищенный текст обновляется на лету по мере ввода — никаких кнопок. Следите за панелями «До», «После» и «Удалённые» рядом, сверьтесь с таблицей частоты, а затем скопируйте или скачайте результат.

Когда использовать

• Чистка столбца в CSV, где один клиент повторяется в нескольких почти одинаковых строках.
• Свести лог из десяти тысяч строк к уникальным сообщениям перед разбором инцидента.
• Объединить почтовые списки с разных мероприятий, чтобы не отправить одному адресату два раза одно письмо.

Результат

Разработчик вставляет 500 записей лога с повторяющимися сообщениями об ошибках и сокращает их до 47 уникальных строк, мгновенно выявляя реальные проблемы.

Частые вопросы

Сохраняется ли порядок строк после вставки?

Оставьте «Сортировку вывода» на «Исходном порядке» — и первая копия каждой строки останется там, куда вы её вставили. Переключите на А → Я, Я → А, по длине или случайный, чтобы переупорядочить уникальные строки; алфавитный порядок удобен перед diff или коммитом. Хотите сохранить последнюю копию? Включите «Оставлять последнее».

Как работает учёт регистра?

Если опция включена, 'Apple' и 'apple' считаются разными строками. Выключите её, и они слипаются в одну; инструмент сохранит написание первого вхождения, поэтому ваш исходный стиль не пострадает.

Что делает «Обрезать пробелы»?

Перед сравнением удаляет пробелы и табы в начале и конце каждой строки. ' hello ' и 'hello' становятся равны. Пробелы внутри строки не трогаются, поэтому 'hello world' (два пробела) остаётся отличной от 'hello world' (один).

Можно оставить только те строки, которые повторяются?

Не как основной результат, но панель «Удалённые» справа показывает каждую отброшенную строку с её исходным номером, так что дубликаты можно читать или копировать напрямую, не выискивая их в панели «До». Для обратной задачи — оставить только строки, встречающиеся один раз, — переключите «Оставить» на «Убрать все повторы».

Есть ли ограничение на длину вставленного текста?

Жёсткого предела нет. Проверяли на файлах больше миллиона строк, скорость зависит от устройства. Текст не покидает браузер, поэтому конфиденциальные списки можно обрабатывать прямо здесь.

Похожие инструменты