Правильная длина строки неанглийских символов в Python3

Причина в том, что включенный текст содержит управляющий символ \u200e, который является невидимым символом, используемым в качестве слева. Метка -to-right (часто используется при смешивании нескольких языков для разграничения между написанием слева направо и справа налево). Кроме того, он включает в себя гласный «символ» (маленькая точка над вторым символом, которая показывает, как его произносить).

Например, если вы замените метку LTR пустой строкой, вы получите длину 4:

>> x = 'צוֹר'
>> x
'צוֹר\u200e' # note the control character escape sequence
>> print(len(x))
5

>> print(len(x.replace('\u200e', ''))
4

Если вам нужна длина строго буквенного символа и только пробельных символов, вы можете сделать что-то вроде re.sub из всех не пробельных не словесных символов:

>> print(len(re.sub('[^\w\s]', '', x)))
3

Символы Unicode имеют разные категории. В твоем случае:

>>> import unicodedata
>>> s = b'\xd7\xa6\xd7\x95\xd6\xb9\xd7\xa8\xe2\x80\x8e'.decode("utf-8")
>>> list(unicodedata.category(c) for c in s)
['Lo', 'Lo', 'Mn', 'Lo', 'Cf']

• Lo: Буква, другая (не прописная, не строчная и т.п.). Это "настоящие" персонажи.
• Mn: Отметить, без пробела. Это какой-то тип акцентного символа в сочетании с предыдущим символом.
• Cf: Управление, формат. Здесь он переключается обратно на направление записи слева направо

Вы пробовали использовать io библиотеку?

>>> import io
>>> with io.open('text.txt',  mode="r", encoding="utf-8") as f:
     x = f.read()
>>> print(len(x))

Вы также можете попробовать codecs:

>>> import codecs
>>> with codecs.open('text.txt', 'r', 'utf-8') as f:
     x = f.read()
>>> print(len(x))

Откройте файл с кодировкой utf-8.

fin = open('filename','r',encoding='utf-8')

or

with open('filename','r',encoding='utf-8') as fin:
    for line1 in fin:
        print(len(line1.strip()))