Разбор логов Snort с помощью PyParsing

import pyparsing as pyp
import itertools

integer = pyp.Word(pyp.nums)
ip_addr = pyp.Combine(integer+'.'+integer+'.'+integer+'.'+integer)

def snort_parse(logfile):
    header = (pyp.Suppress("[**] [")
              + pyp.Combine(integer + ":" + integer + ":" + integer)
              + pyp.Suppress(pyp.SkipTo("[**]", include = True)))
    cls = (
        pyp.Suppress(pyp.Optional(pyp.Literal("[Classification:")))
        + pyp.Regex("[^]]*") + pyp.Suppress(']'))

    pri = pyp.Suppress("[Priority:") + integer + pyp.Suppress("]")
    date = pyp.Combine(
        integer+"/"+integer+'-'+integer+':'+integer+':'+integer+'.'+integer)
    src_ip = ip_addr + pyp.Suppress("->")
    dest_ip = ip_addr

    bnf = header+cls+pri+date+src_ip+dest_ip

    with open(logfile) as snort_logfile:
        for has_content, grp in itertools.groupby(
                snort_logfile, key = lambda x: bool(x.strip())):
            if has_content:
                tmpStr = ''.join(grp)
                fields = bnf.searchString(tmpStr)
                print(fields)

snort_parse('snort_file')

урожаи

[['1:486:4', 'Misc activity', '3', '08/03-07:30:02.233350', '172.143.241.86', '63.44.2.33']]

Вам нужно научиться регулярному выражению, но, надеюсь, это не будет слишком болезненным. Самым большим виновником вашего мышления является использование этой конструкции:

some_stuff + Regex(".*") + 
                 Suppress(string_representing_where_you_want_the_regex_to_stop)

Каждый подпарсер внутри парсера pyparsing в значительной степени автономен и работает последовательно с входящим текстом. Таким образом, у термина Regex нет возможности заглянуть в следующее выражение, чтобы увидеть, где должно остановиться повторение '*'. Другими словами, выражение Regex(".*") будет просто читаться до конца строки, так как именно там ".*" останавливается без указания многострочного.

В pyparsing эта концепция реализована с помощью SkipTo. Вот как пишется ваша строка заголовка:

header = Suppress("[**] [") + Combine(integer + ":" + integer + ":" + integer) + 
             Suppress("]") + Regex(".*") + Suppress("[**]") 

Ваша проблема с ".*" решается путем изменения ее на:

header = Suppress("[**] [") + Combine(integer + ":" + integer + ":" + integer) + 
             Suppress("]") + SkipTo("[**]") + Suppress("[**]") 

То же самое для cls.

Последняя ошибка, ваше определение даты короче на один ':' + целое число:

date = integer + "/" + integer + "-" + integer + ":" + integer + "." + 
          Suppress(integer) 

должно быть:

date = integer + "/" + integer + "-" + integer + ":" + integer + ":" + 
          integer + "." + Suppress(integer) 

Я думаю, что этих изменений будет достаточно, чтобы начать синтаксический анализ ваших данных журнала.

Вот еще несколько советов по стилю:

У вас много повторяющихся Suppress("]") выражений. Я начал определять все мои подавляемые знаки препинания в очень компактном и простом в обслуживании операторе, подобном этому:

LBRACK,RBRACK,LBRACE,RBRACE = map(Suppress,"[]{}")

(разверните, чтобы добавить любые другие знаки пунктуации, которые вам нравятся). Теперь я могу использовать эти символы по их символическим именам, и я нахожу полученный код более легким для чтения.

Вы начинаете заголовок с header = Suppress("[**] [") + .... Мне никогда не нравилось видеть пробелы, встроенные в литералы таким образом, так как это обходит часть надежности синтаксического анализа, которую pyparsing дает вам с автоматическим пропуском пробелов. Если по какой-то причине пробел между «[**]» и «[» был изменен на использование 2 или 3 пробелов или табуляции, тогда ваш подавленный литерал не будет работать. Объедините это с предыдущим предложением, и заголовок будет начинаться с

header = Suppress("[**]") + LBRACK + ...

Я знаю, что это сгенерированный текст, поэтому вариации в этом формате маловероятны, но он лучше подходит для сильных сторон pyparsing.

После того, как вы проанализировали свои поля, начните назначать имена результатов различным элементам в вашем синтаксическом анализаторе. После этого будет намного проще получить данные. Например, измените cls на:

cls = Optional(Suppress("[Classification:") + 
             SkipTo(RBRACK)("classification") + RBRACK) 

Позволит вам получить доступ к данным классификации, используя fields.classification.

Ну, я не знаю Snort или pyparsing, так что заранее извиняюсь, если скажу глупость. Мне неясно, связана ли проблема с тем, что pyparsing не может обработать записи, или с тем, что вы не можете отправить их pyparsing в правильном формате. Если второе, то почему бы не сделать что-то подобное?

def logreader( path_to_file ):
    chunk = [ ]
    with open( path_to_file ) as theFile:
        for line in theFile:
            if line:
                chunk.append( line )
                continue
            else:
                yield "".join( *chunk )
                chunk = [ ]

Конечно, если вам нужно изменить каждый фрагмент перед его отправкой в ​​pyparsing, вы можете сделать это до того, как yield отправите его.