Можно ли указать ElementTree сохранить порядок атрибутов?

С помощью ответа @bobince и этих двух (установка порядка атрибутов, переопределение методов модуля)

Мне удалось исправить эту обезьяну, она грязная, и я бы предложил использовать другой модуль, который лучше справляется с этим сценарием, но когда это невозможно:

# =======================================================================
# Monkey patch ElementTree
import xml.etree.ElementTree as ET

def _serialize_xml(write, elem, encoding, qnames, namespaces):
    tag = elem.tag
    text = elem.text
    if tag is ET.Comment:
        write("<!--%s-->" % ET._encode(text, encoding))
    elif tag is ET.ProcessingInstruction:
        write("<?%s?>" % ET._encode(text, encoding))
    else:
        tag = qnames[tag]
        if tag is None:
            if text:
                write(ET._escape_cdata(text, encoding))
            for e in elem:
                _serialize_xml(write, e, encoding, qnames, None)
        else:
            write("<" + tag)
            items = elem.items()
            if items or namespaces:
                if namespaces:
                    for v, k in sorted(namespaces.items(),
                                       key=lambda x: x[1]):  # sort on prefix
                        if k:
                            k = ":" + k
                        write(" xmlns%s=\"%s\"" % (
                            k.encode(encoding),
                            ET._escape_attrib(v, encoding)
                            ))
                #for k, v in sorted(items):  # lexical order
                for k, v in items: # Monkey patch
                    if isinstance(k, ET.QName):
                        k = k.text
                    if isinstance(v, ET.QName):
                        v = qnames[v.text]
                    else:
                        v = ET._escape_attrib(v, encoding)
                    write(" %s=\"%s\"" % (qnames[k], v))
            if text or len(elem):
                write(">")
                if text:
                    write(ET._escape_cdata(text, encoding))
                for e in elem:
                    _serialize_xml(write, e, encoding, qnames, None)
                write("</" + tag + ">")
            else:
                write(" />")
    if elem.tail:
        write(ET._escape_cdata(elem.tail, encoding))

ET._serialize_xml = _serialize_xml

from collections import OrderedDict

class OrderedXMLTreeBuilder(ET.XMLTreeBuilder):
    def _start_list(self, tag, attrib_in):
        fixname = self._fixname
        tag = fixname(tag)
        attrib = OrderedDict()
        if attrib_in:
            for i in range(0, len(attrib_in), 2):
                attrib[fixname(attrib_in[i])] = self._fixtext(attrib_in[i+1])
        return self._target.start(tag, attrib)

# =======================================================================

Затем в вашем коде:

tree = ET.parse(pathToFile, OrderedXMLTreeBuilder())

Неа. ElementTree использует словарь для хранения значений атрибутов, поэтому он по своей сути неупорядочен.

Даже DOM не гарантирует порядок атрибутов, а DOM предоставляет намного больше деталей информационного набора XML, чем ElementTree. (Есть некоторые DOM, которые предлагают это как функцию, но это не стандарт.)

Можно ли это исправить? Может быть. Вот пример, который заменяет словарь при разборе упорядоченным (collections.OrderedDict() ).

from xml.etree import ElementTree
from collections import OrderedDict
import StringIO

class OrderedXMLTreeBuilder(ElementTree.XMLTreeBuilder):
    def _start_list(self, tag, attrib_in):
        fixname = self._fixname
        tag = fixname(tag)
        attrib = OrderedDict()
        if attrib_in:
            for i in range(0, len(attrib_in), 2):
                attrib[fixname(attrib_in[i])] = self._fixtext(attrib_in[i+1])
        return self._target.start(tag, attrib)

>>> xmlf = StringIO.StringIO('<a b="c" d="e" f="g" j="k" h="i"/>')

>>> tree = ElementTree.ElementTree()
>>> root = tree.parse(xmlf, OrderedXMLTreeBuilder())
>>> root.attrib
OrderedDict([('b', 'c'), ('d', 'e'), ('f', 'g'), ('j', 'k'), ('h', 'i')])

>>> s = StringIO.StringIO()
>>> tree.write(s)
>>> s.getvalue()
'<a b="c" d="e" f="g" h="i" j="k" />'

            items.sort() # lexical order

Лучше всего использовать библиотеку lxml http://lxml.de/ Установка библиотеки lxml и просто переключение библиотеки сотворило со мной волшебство.

#import xml.etree.ElementTree as ET
from lxml import etree as ET

Да, с lxml

>>> from lxml import etree
>>> root = etree.Element("root", interesting="totally")
>>> etree.tostring(root)
b'<root interesting="totally"/>'
>>> print(root.get("hello"))
None
>>> root.set("hello", "Huhu")
>>> print(root.get("hello"))
Huhu
>>> etree.tostring(root)
b'<root interesting="totally" hello="Huhu"/>'

Вот прямая ссылка на документацию, из которой пример немного адаптирован.

Также обратите внимание, что lxml имеет хорошую совместимость API со стандартным xml. etree.ElementTree

Неправильный вопрос. Должно быть: "Где мне найти гаджет diff, который нормально работает с файлами XML?

Ответ: Google — ваш друг. Первый результат поиска по "xml diff" => это. Есть еще несколько возможных.

Это было «исправлено» в python 3.8. Я нигде не могу найти никаких заметок об этом, но теперь это работает.

D:\tmp\etree_order>type etree_order.py
import xml.etree.ElementTree as ET

a = ET.Element('a', {"aaa": "1", "ccc": "3", "bbb": "2"})

print(ET.tostring(a))
D:\tmp\etree_order>C:\Python37-64\python.exe etree_order.py
b'<a aaa="1" bbb="2" ccc="3" />'

D:\tmp\etree_order>c:\Python38-64\python.exe etree_order.py
b'<a aaa="1" ccc="3" bbb="2" />'

Из раздела 3.1 рекомендаций по XML:

Обратите внимание, что порядок спецификаций атрибутов в начальном теге или теге пустого элемента не имеет значения.

Любая система, основанная на порядке атрибутов в элементе XML, сломается.

Это частичное решение для случая, когда выдается xml и требуется предсказуемый порядок. Он не решает синтаксический анализ и запись туда и обратно. И 2.7, и 3.x используют sorted() для принудительного порядка атрибутов. Таким образом, этот код в сочетании с использованием OrderedDictionary для хранения атрибутов сохранит порядок вывода xml в соответствии с порядком, используемым для создания элементов.

from collections import OrderedDict
from xml.etree import ElementTree as ET

# Make sorted() a no-op for the ElementTree module
ET.sorted = lambda x: x

try:
    # python3 use a cPython implementation by default, prevent that
    ET.Element = ET._Element_Py
    # similarly, override SubElement method if desired
    def SubElement(parent, tag, attrib=OrderedDict(), **extra):
        attrib = attrib.copy()
        attrib.update(extra)
        element = parent.makeelement(tag, attrib)
        parent.append(element)
        return element
    ET.SubElement = SubElement
except AttributeError:
    pass  # nothing else for python2, ElementTree is pure python

# Make an element with a particular "meaningful" ordering
t = ET.ElementTree(ET.Element('component',
                       OrderedDict([('grp','foo'),('name','bar'),
                                    ('class','exec'),('arch','x86')])))
# Add a child element
ET.SubElement(t.getroot(),'depend',
              OrderedDict([('grp','foo'),('name','util1'),('class','lib')]))  
x = ET.tostring(n)
print (x)
# Order maintained...
# <component grp="foo" name="bar" class="exec" arch="x86"><depend grp="foo" name="util1" class="lib" /></component>

# Parse again, won't be ordered because Elements are created
#   without ordered dict
print ET.tostring(ET.fromstring(x))
# <component arch="x86" name="bar" grp="foo" class="exec"><depend name="util1" grp="foo" class="lib" /></component>

Проблема с анализом XML в дереве элементов заключается в том, что код внутри создает простые dict, которые передаются в Element(), после чего порядок теряется. Никакой эквивалентный простой патч невозможен.

Была ваша проблема. Сначала искал какой-нибудь Python-скрипт для канонизации, но никого не нашел. Потом начал думать о том, чтобы сделать один. Наконец-то проблема xmllint решена.

Я использовал принятый ответ выше с обоими утверждениями:

ET._serialize_xml = _serialize_xml
ET._serialize['xml'] = _serialize_xml

Хотя это исправило порядок в каждом узле, порядок атрибутов на новых узлах, вставленных из копий существующих узлов, не удалось сохранить без глубокого копирования. Следите за повторным использованием узлов для создания других... В моем случае у меня был элемент с несколькими атрибутами, поэтому я хотел использовать их повторно:

to_add = ET.fromstring(ET.tostring(contract))
to_add.attrib['symbol'] = add
to_add.attrib['uniqueId'] = add
contracts.insert(j + 1, to_add)

fromstring(tostring) изменит порядок атрибутов в памяти. Это может не привести к альфа-отсортированному словарю атрибутов, но также может не иметь ожидаемого порядка.

to_add = copy.deepcopy(contract)
to_add.attrib['symbol'] = add
to_add.attrib['uniqueId'] = add
contracts.insert(j + 1, to_add)

Теперь порядок сохраняется.

Я бы рекомендовал использовать LXML (как и другие). Если вам необходимо сохранить порядок атрибутов для соответствия стандартам c14n v1 или v2 (https://www.w3.org/TR/xml-c14n2/) (т.е. увеличение лексикографического порядка), lxml очень хорошо поддерживает это, передавая метод вывода (см. заголовок C14N в https://lxml.de/api.html)

Например:

from lxml import etree as ET 
element = ET.Element('Test', B='beta', Z='omega', A='alpha') 
val = ET.tostring(element, method="c14n") 
print(val)

Запустив скрипт Python в версии Python 3.8, мы можем сохранить порядок атрибутов в XML-файлах.