Извлечение необходимых переменных из файла журнала событий с использованием Python

Это может быть не самый эффективный способ преобразования вложенных записей json в текстовом файле (с разделителями строк) в объект DataFrame, но он выполняет свою работу.

import pandas as pd
import json
from pandas.io.json import json_normalize

with open('path_to_your_text_file.txt', 'rb') as f:
    data = f.readlines()

data = map(lambda x: eval(json_normalize(json.loads(x.rstrip())).to_json(orient="records")[1:-1]), data)
e = pd.DataFrame(data)
print e.head()

Изменить

Данные после вашего редактирования теперь выглядят как данные JSON. Вы по-прежнему можете использовать literal_eval, как показано ниже, или использовать json модуль:

import json

with open('event.log') as events:
    for line in events:
        event = json.loads(line)
        # process event dictionary

Чтобы получить доступ к CustomerID, OfferID, Category и т. д., вам необходимо получить доступ к вложенному словарю, связанному с ключом 'attributes' в словаре event:

print(event['attributes']['CustomerID'])
print(event['attributes']['OfferID'])
print(event['attributes']['Category'])

Если это так, что некоторые ключи могут отсутствовать, используйте вместо них dict.get():

print(event['attributes'].get('CustomerID'))
print(event['attributes'].get('OfferID'))
print(event['attributes'].get('Category'))

Теперь вы получите None, если ключ отсутствует.

Вы можете расширить этот принцип для доступа к другим элементам словаря.

Насколько я понимаю ваш вопрос, вы также хотите создать файл CSV, содержащий извлеченные поля. Вы используете извлеченные значения с csv.DictWriter следующим образом:

import csv

with open('event.log') as events, open('output.csv', 'w') as csv_file:
    fields = ['CustomerID', 'OfferID', 'Category']
    writer = csv.DictWriter(csv_file, fields)
    writer.writeheader()
    for line in events:
        event = json.loads(line)
        writer.writerow(event['attributes'])

DictWriter просто оставит поля пустыми, если в словаре отсутствуют ключи.

Исходный ответ Данные не в формате CSV, они, похоже, содержат строки словаря Python. Их можно преобразовать в словари Python с помощью ast.literal_eval():

from ast import literal_eval

with open('event.log') as events:
    for line in events:
        event = literal_eval(line)
        # process event dictionary