Python для удаления дубликатов, используя только некоторые, а не все столбцы

Для этого следует использовать itertools.groupby. Здесь я группирую данные на основе первых двух столбцов, а затем использую next() чтобы получить первый элемент из каждой группы.

>>> from itertools import groupby                                   
>>> s = '''A    B    C                                              
A    B    D
E    F    G
E    F    T
E    F    K'''
>>> for k, g in groupby(s.splitlines(), key=lambda x:x.split()[:2]):
    print next(g)
...     
A    B    C
E    F    G

Просто замените s.splitlines() файловым объектом, если ввод поступает из файла.

Обратите внимание, что приведенное выше решение будет работать только в том случае, если данные отсортированы по первым двум столбцам, если это не так, вам придется использовать здесь set.

>>> from operator import itemgetter
>>> ig = itemgetter(0, 1) #Pass any column number you want, note that indexing starts at 0
>>> s = '''A    B    C
A    B    D
E    F    G
E    F    T
E    F    K
A    B    F'''     
>>> seen = set()
>>> data = []
>>> for line in s.splitlines():
...     key = ig(line.split())
...     if key not in seen:
...         data.append(line)
...         seen.add(key)
...         
>>> data
['A    B    C', 'E    F    G']

если у вас есть доступ к системе Unix, sort — это хорошая утилита, созданная для решения вашей проблемы.

sort -u -t$'\t' --key=1,2 filein.txt

Я знаю, что это вопрос о Python, но иногда Python не подходит для этой задачи. И вы всегда можете встроить системный вызов в свой скрипт Python.

из приведенного ниже кода вы можете это сделать.

file_ = open('yourfile.txt')
lst = []
for each_line in file_ .read().split('\n'):
    li = each_line .split()
    lst.append(li)
dic = {}
for l in lst:
    if (l[0], l[1]) not in dic:
        dic[(l[0], l[1])] = l[2]

print dic

извините за имена переменных.

Предполагая, что вы уже прочитали свой объект и у вас есть массив с именем rows (скажите мне, нужна ли вам помощь с этим), следующий код должен работать:

entries = set()
keys = set()
for row in rows:
   key = (row[0], row[1]) # Only the first two columns

   if key not in keys:
      keys.add(key)
      entries.add((row[0], row[1], row[2]))

пожалуйста, обратите внимание, что я не эксперт, но у меня все еще есть идеи, которые могут вам помочь.

Существует модуль csv, полезный для файлов csv, вы можете посмотреть его, если найдете что-то интересное.

Сначала я хотел бы спросить, как вы храните эти данные? В списке?

что-то вроде

[[A,B,C],
[A,B,D],
[E,F,G],...]

Может подойти. (возможно не лучший выбор)

Во-вторых, можно ли пройтись по всему списку?

Вы можете просто сохранить строку, сравнить ее со всеми строками.

Я бы сделал так: предположим, что список содержит буквы.

copy = list
index_list = []
for i in range(0, len(list)-1):
    for j in range(0, len(list)-1): #and exclude i of course
     if copy[i][1] == list[j][1] and copy[i][0] == list[j][0] and i!=j:
          index_list.append(j)
for i in index_list: #just loop over the index list and remove
list.pop(index_list[i])

это не рабочий код, но он дает вам идею. Это самая простая идея для выполнения вашей задачи, и вряд ли самая подходящая. (и это займет некоторое время, так как вам нужно выполнить квадратичное количество операций). Редактировать: поп; не удалять