Парсинг XML Python
Вы когда-нибудь сталкивались с надоедливым XML-файлом, который вам нужно проанализировать, чтобы получить важные значения? Давайте узнаем, как создать парсер Python XML.
Мы рассмотрим, как мы можем анализировать подобные XML-файлы с помощью Python, чтобы получить соответствующие атрибуты и значения.
Метод 1: Использование ElementTree (рекомендуется)
Мы можем использовать библиотеку ElementTree Python для решения этой задачи.
Это самый простой и рекомендуемый вариант для создания синтаксического анализатора Python XML, поскольку эта библиотека по умолчанию входит в состав Python.
Она не только обеспечивает легкий доступ, поскольку уже установлена, но и работает довольно быстро. Давайте посмотрим, как именно мы можем извлечь атрибуты из нашего тестового файла.
Мы будем использовать интерфейс xml.etree.ElementTree внутри основного xml пакета.
import xml.etree.ElementTree as ET
Дерево синтаксического анализатора
Давайте сначала построим корневой узел этого дерева синтаксического анализа. Это самый верхний узел, он необходим нам для начала синтаксического анализа.
К счастью для нас, в этом API уже есть следующий метод:
import xml.etree.ElementTree as ET root_node = ET.parse('sample.xml').getroot() print(root_node) Это автоматически прочитает входной XML-файл и получит для нас корневой узел.
Похоже, он проанализирован. Но мы пока не можем это проверить. Итак, давайте проанализируем другие атрибуты и попробуем получить значение.
Получение значения соответствующих атрибутов
Итак, теперь наша задача — получить значение внутри атрибута с помощью нашего Python XML Parser.
Его позиция от корневого узла — , поэтому нам нужно перебрать все совпадения на этом уровне дерева.
Мы можем сделать это с помощью root_node.findall(level) , где level — это желаемая позиция (в нашем случае ).
for tag in root_node.find_all(level): value = tag.get(attribute) if value is not None: print(value)
tag.get(attribute) получит значение нашего на уровнях, на которых мы ищем. Итак, нам просто нужно сделать это в и получить значения атрибутов и . Это оно!
import xml.etree.ElementTree as ET # We're at the root node () root_node = ET.parse('sample.xml').getroot() # We need to go one level below to get # and then one more level from that to go to for tag in root_node.findall('header/type'): # Get the value of the heading attribute h_value = tag.get('heading') if h_value is not None: print(h_value) # Get the value of the text attribute t_value = tag.get('text') if t_value is not None: print(t_value) XML Parsing in Python Hello from AskPython. We'll be parsing XML
Мы получили все значения на этом уровне нашего дерева синтаксического анализа XML! Мы успешно проанализировали наш XML-файл.
Возьмем другой пример, чтобы все прояснить.
Теперь предположим, что XML-файл выглядит так:
Здесь мы должны не только получить значения атрибутов name , но также получить текстовые значения 10, 20, 30 и 40 для каждого элемента на этом уровне.
Чтобы получить значение атрибута name , мы можем сделать то же самое, что и раньше. Мы также можем использовать tag.attrib[name] чтобы получить значение. Это то же самое, что и tag.get(name) , за исключением того, что он использует поиск по словарю.
attr_value = tag.get(attr_name) # Both methods are the same. You can # choose any approach attr_value = tag.attrib[attr_name]
Получить текстовое значение просто. Просто используйте:
Итак, наша полная программа для этого парсера будет:
import xml.etree.ElementTree as ET # We're at the root node () root_node = ET.parse('sample.xml').getroot() # We need to go one level below to get # and then one more level from that to go to for tag in root_node.findall('items/item'): # Get the value from the attribute 'name' value = tag.attrib['name'] print(value) # Get the text of that tag print(tag.text) item1 10 item2 20 item3 30 item4 40
Вы можете расширить эту логику на любое количество уровней и для файлов XML произвольной длины! Вы также можете записать новое дерево синтаксического анализа в другой файл XML.
Метод 2: использование BeautifulSoup (надежный)
Это также еще один хороший выбор, если по какой-то причине исходный XML плохо отформатирован. XML может работать не очень хорошо, если вы не выполните предварительную обработку файла.
Оказывается, BeautifulSoup очень хорошо работает со всеми этими типами файлов, поэтому, если вы хотите проанализировать любой XML-файл, используйте этот подход.
Чтобы установить его, используйте pip и установите модуль bs4 :
Я дам вам небольшой фрагмент нашего предыдущего XML-файла:
Я передам этот файл, а затем bs4 его с помощью bs4 .
from bs4 import BeautifulSoup fd = open('sample.xml', 'r') xml_file = fd.read() soup = BeautifulSoup(xml_file, 'lxml') for tag in soup.findAll("item"): # print(tag) print(tag["name"]) print(tag.text) fd.close() Синтаксис аналогичен нашему модулю xml , поэтому мы по-прежнему получаем имена атрибутов, используя value = tag[‘attribute_name’] и text = tag.text . Точно так же, как и раньше!
item1 10 item2 20 item3 30 item4 40
Мы также проанализировали это с помощью bs4 ! Если ваш исходный XML файл плохо отформатирован, можно использовать этот метод, поскольку BeautifulSoup имеет другие правила для обработки таких файлов.
Парсинг XML с использованием lxml
Ранее мы рассматривали некоторые встроенные в Python XML парсеры. В этой статье, мы рассмотрим один интересный сторонний пакет lxml от codespeak. Он, в частности, использует API ElementTree. Пакет lxml имеет поддержку XPath и XSLT, включая API для SAX и API уровня С для совместимости с модулями C/Pyrex. В статье мы рассмотрим следующее:
- Парсинг XML используя lxml
- Пример рефакторинга
- Как выполнять парсинг XML с lxml.objectify
- Как создавать XML с lxml.objectify
В этой статье, мы используем примеры, основанные на примерах парсинга minidom, и посмотрим, как выполнять парсинг при помощи lxml Python. Вот пример XML из программы, которая была написана для отслеживания назначений:
Давайте посмотрим, как происходит парсинг с использованием lxml.
Парсинг XML с lxml
Данный пример XML показывает два назначения. Время начинается спустя секунды после эпохи. Наш uid сгенерирован на основе хеша начала времени и ключа. Время сигнала – несколько секунд после эпохи, но не раньше начала времени. Состояние – если назначение было отменено или перенесено, или нет, так или иначе. Остальная часть XML, как мы видим, в пояснении не нуждается. Давайте взглянем на то, как делается парсинг:
Во первых, мы импортировали необходимые модули, а именно модуль etree из пакета lxml Python и функцию StringIO из встроенного модуля StringIO. Наша функция parseXML принимает один аргумент: путь к рассматриваемому файлу XML. Мы открываем файл, читаем и закрываем его. Теперь начинается самое веселое. Мы используем функцию парсинга etree, чтобы парсировать код XML, который вернулся из модуля StringIO. По причинам, которые я не могу полностью понять, функция парсинга требует файловый объект. В любом случае, мы итерируем контекст (другими словами, объект lxml.etree.iterparse) и извлекаем теговые элементы. Далее, мы добавляем условный оператор if, для замещения пустых полей словом “None” для получения более чистой выдачи.
Парсинг на примере книги
Что-ж, результат нашего примера немного скучный. Большую часть времени, вам нужно будет сохранить извлеченные данные, и сделать с ними что-нибудь, а не просто вывести его в stdout. Так что в следующем нашем примере мы создадим структуру данных для сбора результатов. В данном примере структура наших данных будет представлять собой список словарей. Мы используем пример книги MSDN. Сохраните следующий код XML под названием example.xml.