BASH - Сообщить, существуют ли повторяющиеся строки (y/n)

Вы можете использовать awk в сочетании с логическим оператором ||:

# Ask question if awk found a duplicate
awk 'a[$0]++{exit 1}' test.txt || (
    echo -n "remove duplicates? [y/n] "
    read answer
    # Remove duplicates if answer was "y" . I'm using `[` the shorthand
    # of the test command. Check `help [`
    [ "$answer" == "y" ] && uniq test.txt > test.uniq.txt
)

Блок после || будет выполнен только в том случае, если команда awk вернет 1, что означает, что она нашла дубликаты.

Однако для общего понимания я также покажу пример с использованием блока if.

awk 'a[$0]++{exit 1}' test.txt

# $? contains the return value of the last command
if [ $? != 0 ] ; then
    echo -n "remove duplicates? [y/n] "
    read answer
    # check answer
    if [ "$answer" == "y" ] ; then
        uniq test.txt > test.uniq.txt            
    fi
fi

Однако [] — это не просто квадратные скобки, как в других языках программирования. [ — это синоним встроенной команды bash test, а ] — ее последний аргумент. Вам нужно прочитать help [, чтобы понять

Я бы, вероятно, использовал awk для этого, но для разнообразия вот короткая трубка, чтобы сделать то же самое:

$ { sort | uniq -d | grep . -qc; } < noduplicates.txt; echo $?
1
$ { sort | uniq -d | grep . -qc; } < duplicates.txt; echo $?
0

sort + uniq -d убедитесь, что в stdout печатаются только повторяющиеся строки (которые не обязательно должны быть смежными), а grep . -c подсчитывает те строки, которые эмулируют wc -l с полезным побочным эффектом, который возвращает 1, если они не совпадают (т.е. нулевой счетчик ) и -q просто заглушает вывод, поэтому он не печатает количество строк, поэтому вы можете использовать его в своем скрипте без вывода сообщений.

has_duplicates()
{
  {
    sort | uniq -d | grep . -qc
  } < "$1"
}

if has_duplicates myfile.txt; then
  echo "myfile.txt has duplicate lines"
else
  echo "myfile.txt has no duplicate lines"
fi

Быстрое решение для bash:

#!/bin/bash

INPUT_FILE=words

declare -A a 
while read line ; do
    [ "${a[$line]}" = 'nonempty' ] && duplicates=yes && break
    a[$line]=nonempty
done < $INPUT_FILE

[ "$duplicates" = yes ] && echo -n "Keep duplicates? [Y/n]" && read keepDuplicates

removeDuplicates() {
    sort -u $INPUT_FILE > $INPUT_FILE.tmp
    mv $INPUT_FILE.tmp $INPUT_FILE
}

[ "$keepDuplicates" != "Y" ] && removeDuplicates

Скрипт построчно читает из INPUT_FILE и сохраняет каждую строку в ассоциативном массиве a в качестве ключа и устанавливает строку nonempty в качестве значения. Перед тем, как сохранить значение, он сначала проверяет, есть ли оно уже там — если оно есть, значит, он нашел дубликат и устанавливает флаг duplicates, а затем вырывается из цикла.

Позже он только проверяет, установлен ли флаг, и спрашивает пользователя, сохранять ли дубликаты. Если они отвечают на что-то другое, кроме Y, то вызывается функция removeDuplicates, которая использует sort -u для удаления дубликатов. ${a[$line]} оценивается как значение ассоциативного массива a для ключа $line. [ "$duplicates" = yes ] — это встроенный синтаксис bash для теста. Если тест проходит успешно, то оценивается все, что следует после &&.

Но обратите внимание, что решения awk, вероятно, будут быстрее, поэтому вы можете использовать их, если собираетесь обрабатывать файлы большего размера.

Вы можете сделать uniq=yes/no, используя этот однострочный awk:

awk '!seen[$0]{seen[$0]++; i++} END{print (NR>i)?"no":"yes"}' file

• awk использует массив уникальных имен под названием seen.
• Каждый раз, когда мы помещаем элемент в уникальный, мы увеличиваем счетчик i++.
• Наконец, в блоке END мы сравниваем количество записей с уникальным количеством записей в этом коде: (NR>i)?
• Если условие истинно, это означает, что есть повторяющиеся записи, и мы печатаем no, иначе печатается yes.