uniq — все вопросы

3ответа
4 голоса
простой способ изменить вывод uniq -c?
У меня есть простой файл, как это:Термин1 столбец2 столбец3Срок2 столбец2 столбец3Term3 column2 column3Срок2 столбец2 столбец3Термин1 столбец2 столбец3Срок2 столбец2 столбец3Если я сортирую по первому
1ответ
4 голоса
Рассчитать вхождения Word из файла в bash
Прошу прощения за очень нубский вопрос, но я немного новичок в программировании ---- +: = 0 =: + ---- (началось несколько дней назад).По сути, я хочу сохранить один файл со всеми вхождениями слов друг
5ответов
4 голоса
Удаление строк, содержащих уникальное первое поле с помощью awk?
Нужно печатать только те строки, которые имеют дублирующее первое поле.например, из данных, которые выглядят так:Следует распечатать:(К вашему сведению - в моих данных первое поле не всегда длиной 1 с
1ответ
4 голоса
Как найти максимальное значение, сгруппированное по нескольким ключам в массиве хэшей?
Есть данные, которые имеют такую ​​структуру.Будет в порядке возрастания на «с».Требуется массив максимального значения 'c', сгруппированный по каждой уникальной комбинации 'a' и 'b'.Другие ключи долж
2ответа
5 голосов
сортировка: сравнение строк не выполнено Неверный или неполный многобайтовый или широкий символ
Я пытаюсь использовать следующую команду для текстового файла: $ sort <m.txt | uniq -c | sort -nr >m.dict Однако я получаю следующее сообщение об ошибке: sort: string comparison failed
4ответа
17 голосов
сортировать уникальные URL из журнала
Мне нужно получить уникальные URL-адреса из веб-журнала, а затем отсортировать их. Я думал об использовании команд grep, uniq, sort и вывод их в другой файл Я выполнил эту команду: cat access.l
4ответа
10 голосов
суммарная пара столбцов на основе совпадающих полей
Я столкнулся с проблемой, которая превосходит мои базовые знания в UNIX и будет очень ценна какая-то помощь. У меня большой файл в следующем формате: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2
3ответа
7 голосов
Удалить дубликаты в каждой строке файла
Как удалить дубликаты в каждой строке, например здесь? 1 1 1 2 1 2 3 5 5 4 1 2 3 3 Я хочу получить этот вывод: 1 2 3 5 4 1 2 3 Есть много строк (100 000), и в каждой строке я хочу уникаль
3ответа
15 голосов
Команда uniq работает неправильно?
Итак, я проверяю хэш-код md5 моих файлов с этим в качестве вывода: 657cf4512a77bf47c39a0482be8e41e0 ./dupes2.txt 657cf4512a77bf47c39a0482be8e41e0 ./dupes.txt 8d60a927ce0f411ec94ac26a4785f749 ./
1ответ
13 голосов
Как удалить повторяющиеся строки в большом текстовом файле с несколькими GB?
Мой вопрос похож на этот вопрос , но с несколькими различными ограничениями: У меня есть большой \n разделительный список слов - по одному слову в строке. Размер файлы варьируются от 2 ГБ до 10
2ответа
10 голосов
Есть ли эквивалент Windows для Unix uniq?
Мне нужно удалить повторяющиеся строки из текстового файла, это просто в Linux, используя cat file.txt |sort | uniq , когда file.txt содержит aaa bbb aaa ccc Он выведет aaa bbb ccc Ест
2ответа
15 голосов
Что сделал `uniq -t`?
У меня есть старый код из 2003, который использует -t для uniq. Это вызывает ошибку, поскольку эта опция, вероятно, больше не поддерживается. Вот фрагмент, который использует команду: egrep -n
5ответов
16 голосов
бездисковый поиск дубликатов имен файлов
Есть ли способ найти все файлы в каталоге с повторяющимися именами файлов, независимо от обложки (в верхнем и /или нижнем регистре)?
12ответов
16 голосов
Удалять повторяющиеся строки попарно?
Сегодня я столкнулся с этим прецедентом. Это кажется простым на первый взгляд, но возиться с помощью sort, uniq, sed и awk показал, что это нетривиально. Как я могу удалить все пары дублированн
4ответа
34 голоса
Как получить только уникальные результаты без сортировки данных?
$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ В результате мне нужно отобразить в
4ответа
35 голосов
Как uniq не является уникальным, что существует также uniq -unique?
Вот команды на случайном файле из pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs
7ответов
49 голосов
Как удалить дубликаты в моем .bash_history, сохраняя заказ?
Мне очень нравится использовать control+r для рекурсивного поиска в моей истории команд. Я нашел несколько хороших вариантов, которые мне нравятся: # ignore duplicate commands, ignore commands sta
6ответов
96 голосов
В чем разница между «серой» и «серой»? uniqâ €?
Всюду, когда я вижу, что кто-то нуждается в сортированном, уникальном списке, они всегда ссылаются на sort | uniq. Я никогда не видел примеров, когда кто-то использует sort -u. Почему нет? В чем разн

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132