Известная кодировка

Если вы знаете кодировку файла, который хотите прочитать, вы можете использовать

pd.read_csv('filename.txt', encoding='encoding')

Вот возможные кодировки: https://docs.python.org/3/library/codecs.html#standard-encodings

Неизвестная кодировка

Если вы не знаете кодировку, вы можете попробовать использовать chardet, однако это не гарантирует работу. Это больше догадки.

import chardet
import pandas as pd

with open('filename.csv', 'rb') as f:
    result = chardet.detect(f.read())  # or readline if the file is large


pd.read_csv('filename.csv', encoding=result['encoding'])

Эта ошибка возникает при первом чтении данных или при втором чтении после того, как вы их записали и снова прочитали? Я предполагаю, что на самом деле это происходит при первом чтении данных, потому что ваш CSV имеет кодировку, отличную от UTF-8.

Попробуйте открыть этот CSV-файл в Notepad++, Excel или LibreOffice. Есть ли в вашем источнике данных символ ç (C с седильей)? Если это так, то байт 0xE7, который вы видите, вероятно, является ç, закодированным либо в Latin-1, либо в Windows-1252 (называемый «cp1252» в Python).

Глядя на документацию для Pandas read_csv(), я вижу, что у нее есть параметр encoding, который должен быть именем кодировки, в которой, как вы ожидаете, будет находиться файл CSV. Поэтому попробуйте добавить encoding="cp1252" к вашему вызову read_csv() следующим образом:

df = pd.read_csv(r"D:\ss.csv", encoding="cp1252")

Обратите внимание, что я добавил символ r перед именем файла, так что это будет считаться «необработанной строкой», а обратная косая черта не будет обрабатываться особым образом. Таким образом, вы не удивитесь, когда измените имя файла с ss.csv на new-ss.csv, где строка D:\new-ss.csv будет читаться как D, :, символ новой строки, e, w и т. д.

В любом случае, попробуйте этот параметр кодирования при первом вызове read_csv() и посмотрите, работает ли он. (Это всего лишь предположение, так как я не знаю ваших фактических данных. Если файл данных не является частным и не слишком велик, попробуйте опубликовать файл данных, чтобы мы могли увидеть его содержимое — это позволит нам работать лучше. чем просто гадать)

Одним из простых решений является то, что вы можете открыть файл csv в редакторе, таком как Sublime Text, и сохранить его в кодировке «utf-8». Тогда мы можем легко прочитать файл через pandas.

Да, вы получите эту ошибку. У меня есть решение этой проблемы, открыв CSV-файл в блокноте ++ и изменив кодировку через меню «Кодировка» -> преобразовать в UTF-8. Затем сохраните файл. Затем снова запустите программу python.

Другим решением является использование модуля кодеков в python для кодирования-декодирования файлов. Я не использовал это.

Вышеупомянутый метод, используемый для импорта, а затем определения типа файла, работает с импортом charde

import pandas as pd
import chardet
with open('filename.csv', 'rb') as f:
    result = chardet.detect(f.read())  # or readline if the file is large


pd.read_csv('filename.csv', encoding=result['encoding'])

Я новичок в питоне. Столкнулся именно с этой проблемой, когда вручную изменил расширение своего файла excel на .csv и попытался прочитать его с помощью read_csv. Однако, если бы я открыл файл excel и сохранил его как файл csv, он, похоже, работал.