git-filter-branch для удаления строк, но там, где строки содержат $ '\ и другие символы

попробуйте BFG вместо git filter-branch...

Вы можете использовать намного более удобный формат замены, если используете BFG вместо git-filter-branch. Создайте файл passwords.txt с одним паролем в строке следующим образом:

PASSWORD1==>xXxXx      # Replace literal string 'PASSWORD1' with 'xXxXx'
ezxcdf\fr$sdd%==>xXxXx # ...all text is matched as a *literal* string by default

Затем запустите BFG с помощью этой команды:

$ java -jar bfg.jar -fi '*.php' --replace-text passwords.txt  my-repo.git

Вся история вашего репозитория будет просканирована, и все .php файлов (размером менее 1 МБ) будут заменены: любая совпадающая строка (которой нет в вашем последнем коммите) будет заменена.

... не нужно убегать

Обратите внимание, что единственная часть синтаксического анализа, которую BFG делает здесь с файлом подстановки, — это разделение на строку «==>», которая, вероятно, нет в ваших паролях, и весь текст интерпретируется буквально по умолчанию. .

Если вы хотите быть еще более кратким, вы можете опустить '==>' и все, что идет после него, в каждой строке (т. е. просто иметь файл паролей), и BFG заменит каждый пароль на строка '***REMOVED***' по умолчанию.

Обычно BFG в сотни раз быстрее, чем запуск git-filter-branch на большом репозитории и параметры адаптированы для этих двух распространенных вариантов использования:

• Удаление Безумно больших файлов
• Удаление паролей, учетных данных и других личных данных

Полное раскрытие: я автор BFG Repo-Cleaner.

Опираясь на блестящую помощь, предоставленную konsolebox, которая действительно помогла мне решить эту проблему, решение, которое я в конечном итоге использовал с точки зрения выполнения этого через оболочку было:

Определите строки в файле, strings.txt

string1
another$string
yet! @nother string
some more stuff to re\move

Создайте сценарий Perl perl-escape-strings.pl, который будет использоваться для экранирования строк, где xXxXxXxXxXx — это строка, на которую они все будут заменены.

#!/usr/bin/perl

use strict;
use warnings;

while (<>)
{
        chomp;
        my $passwd = quotemeta($_);
        print qq|s/$passwd/xXxXxXxXxXx/g;\n|;
}

exit 0;

Баш-скрипт:

# Pre-process the strings
./perl-escape-strings.pl strings.txt > strings-perl-escaped.txt

# Change directory to the repo
cd repo/

# Define the filter command
FILTER="git ls-files -z '*.html' '*.php' | xargs -0 perl -p -i ../strings-perl-escaped.txt"

# Run the filter
git filter-branch --tree-filter "$FILTER" -- --all

Однако, поскольку количество строк велико, а мой репозиторий большой и содержит много тысяч коммитов, метод filter-branch занимает много времени. Итак, я собираюсь попробовать BFG, упомянутый в другом ответе, также параллельно, чтобы посмотреть, завершится ли он быстрее.

Использование скрипта-оболочки:

#!/bin/bash

readarray -t PASSWORDS < list_file

REPLACEMENT='xXxXxXxXxXx'
SEP=$'\xFF'

EXPR=${PASSWORDS[0]}
for (( I = 1; I < ${#PASSWORDS[@]}; ++I )); do
    EXPR+="|${PASSWORDS[I]}"
done
EXPR="s${SEP}(${EXPR})${SEP}$REPLACEMENT${SEP}g"
EXPR=${EXPR//'\'/'\\\\'}; EXPR=${EXPR//'$'/'\\\$'}
EXPR=${EXPR//'"'/'\"'};   EXPR=${EXPR//'`','\`'}
EXPR=${EXPR//'^','\\^'};  EXPR=${EXPR//'[','\\['}
EXPR=${EXPR//']','\\]'};  EXPR=${EXPR//'+','\\+'}
EXPR=${EXPR//'?','\\?'};  EXPR=${EXPR//'.','\\.'}
EXPR=${EXPR//'*','\\*'};  EXPR=${EXPR//'{','\\{'}
EXPR=${EXPR//'}','\\}'};  EXPR=${EXPR//'(','\\('}
EXPR=${EXPR//')','\\)'}

FILTER="git ls-files -z '*.php' | xargs -0 perl -p -i -e \"$EXPR\""

echo "Number of passwords: ${#PASSWORDS[@]}"    
echo "Passwords:" "${PASSWORDS[@]}"
echo "EXPR: $EXPR"
echo "FILTER: $FILTER"

git filter-branch --tree-filter "$FILTER" -- --all

Стройте его изнутри. Скажи пароль

a$b'c\d

Шаблон регулярного выражения будет

a\$b'c\\d

Одной из возможностей для команды perl может быть

perl -i -pe's/a\$b'\''c\\d/.../g'

(Обратите внимание, как каждый ' был заменен на '\''.)

Теперь вам нужно включить это в одинарные кавычки, поэтому вы повторяете процесс.

... '... perl -i -pe'\''s/a\$b'\''\'\'''\''c\\d/.../g'\''' ...