Parse website with php

Парсинг HTML на PHP с использованием нативных классов

Как вы, возможно, знаете, PHP является популярным внутренним языком, который поддерживает многие популярные CMS, включая WordPress. Если вы вступаете в WordPress или PHP-разработку, вы найдете эту статью полезной.

Если мы хотим обработать данные HTML на сервере? В этой статье мы рассмотрим некоторые полезные классы PHP, которые позволяют нам обрабатывать HTML на стороне сервера.

Что такое синтаксический анализ и как его использовать?

Синтаксический анализ (в данном случае) — это процесс извлечения или изменения полезной информации из строки HTML или XML. Парсер дает нам простые способы запрашивать необработанные данные вместо использования регулярных выражений.

Предположим, вы хотите получить все ссылки на веб-странице. Классы синтаксического анализа PHP DOM могут вам помочь.

Важные DOM классы в PHP

В PHP около девятнадцати классов, связанных с DOM . Некоторые из важных:

DOMDocument, узлы и элементы

Это DOMDocument первый, чтобы упомянуть здесь. Он принимает HTML в качестве входных данных и возвращает объект, который предоставляет доступ к элементам DOM. Он может загружать HTML или XML из строки или файла. Класс определяет несколько методов, getElementById которые похожи на функции в Javascript.

$dom = new DOMDocument(); //examples //methods to load HTML $dom->loadHTML($html_string); $dom->loadHTMLFile('path/to/htmlfile.html'); //methods to load XML $dom->load('path/to/xmlfile.xml'); $dom->loadXML($xml_string); $documentElement = $dom->documentElement; //object of DOMElement Class which gives access to the document element

В этом посте мы в основном будем думать о манипулировании HTML поверх XML.

Узлы (Nodes)

DOM из HTML представляет собой древовидную структуру, состоящую из отдельных узлов. Эти узлы могут быть любого типа, например, элемент, текст, комментарий, атрибут и т. д. DOMNode Является базовым классом, от которого наследуются все типы классов узлов.

Элементы (Elements)

DOMElement Класс расширяет DOMNode класс , который может представлять элементы в HTML — разметке. Объектом DOMElement может быть любой элемент, такой как изображение, div, span, table и т. д.

Практические примеры

Не углубляясь в теории, давайте углубимся в некоторые практические примеры. Прежде всего, нам нужны некоторые данные HTML.

Мы будем выполнять следующие работы с нашим примером HTML:

• Выбрать элемент по идентификатору
• Получить элементы по имени тега
• Найти элементы по классу
• Найти все ссылки на странице
• Вставка HTML-элемента
• Удаление элемента
• Работа с атрибутами

header('Content-Type:application/json'); $url = "https://www.coralnodes.com/best-wordpress-image-optimization-plugins/"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $res = curl_exec($ch); curl_close($ch);

Переменная $res содержит весь HTML-код с веб-страницы.

Выбор по ID

Если вы посмотрите на наш образец страницы, вы увидите, что она содержит две таблицы. Предположим, я хочу найти количество строк в первой таблице. Используя chrome dev-tools, я обнаружил, что в требуемой таблице есть Id — #tablepress-3 .

$dom = new DomDocument(); @ $dom->loadHTML($res); $table = $dom->getElementById('tablepress-3'); //DOMElement $child_elements = $table->getElementsByTagName('tr'); //DOMNodeList $row_count = $child_elements->length - 1; echo "No. of rows in the table is " . $row_count;

Приведенный выше код дает вывод:

No. of rows in the table is 10

Выбор тега по его имени

И классы, DOMDocument и DOMElement классы имеют метод, getElementsByTagName() который позволяет нам выбирать элементы, используя имя тега. Например, если нам нужно получить все h2 заголовки со страницы, мы можем использовать эту функцию.

$dom = new DomDocument(); @ $dom->loadHTML($res); $h2s = $dom->getElementsByTagName('h2'); foreach( $h2s as $h2 ) < echo $h2->textContent . "\n"; >

Test Images Results after Compression ShortPixel reSmush.it Imagify TinyPNG Compress JPEG & PNG Images Kraken.IO EWWW Image Optimizer WP Smush Do you actually need a Plugin to Optimize Images? Consclusion

Найти элементы с определенным классом

В Javascript querySelectorAll() метод позволяет легко выбирать любые элементы с помощью селектора CSS. В PHP это не так просто. Вместо этого мы должны использовать DOMXpath класс для запроса и обхода дерева DOM.

Пример: выберите все таблицы с помощью класса tablepress.

$dom = new DomDocument(); @ $dom->loadHTML($res); $xpath = new DOMXpath($dom); $tables = $xpath->query("//table[contains(@class,'tablepress')]"); $count = $tables->length; echo "No. of tables " . $count;

Также как getElementByTagName() и query() метод DOMXpath возвращает DOMNodeList . Это принимает выражение в качестве аргумента. Это выражение XPath настолько универсально, что мы можем выполнять практически любые типы запросов.

Если вы новичок в XPath, это шпаргалка из Devhints.io содержит широкий перечень CSS и JS селекторов и их соответствующего XPath выражений. Это поможет вам найти подходящее выражение для запроса, который вы хотите выполнить.

Извлечь ссылки со страницы

Разбор открывает ряд возможностей. Извлечение ссылок с веб-страницы является одним из таких применений. Вот как сканеры сканируют всемирную паутину.

Предположим, я хочу найти все внешние ссылки на определенный веб-сайт на веб-странице. На нашем примере страницы я хотел бы найти все исходящие ссылки на сайт wordpress.org из поста в блоге. Итак, вот как я это сделал.

$dom = new DomDocument(); @ $dom->loadHTML($res); $links = $dom->getElementsByTagName('a'); $urls = []; foreach($links as $link) < $url = $link->getAttribute('href'); $parsed_url = parse_url($url); if( isset($parsed_url['host']) && $parsed_url['host'] === 'wordpress.org' ) < $urls[] = $url; >> var_dump($urls);

Модификация и сохранение HTML

До сих пор мы видели, как извлечь или выбрать необходимые данные из HTML. Теперь давайте посмотрим, как мы можем изменить его, добавив или удалив элементы и атрибуты.

Вставка нового HTML-элемента в документ

В этом примере мы увидим, как добавить изображение со ссылкой после первого абзаца. Так вы вставляете рекламные баннеры между постами.

$dom = new DomDocument(); @ $dom->loadHTML($html); $ps = $dom->getElementsByTagName('p'); $first_para = $ps->item(0); $html_to_add = ' '; $dom_to_add = new DOMDocument(); @ $dom_to_add->loadHTML($html_to_add); $new_element = $dom_to_add->documentElement; $imported_element = $dom->importNode($new_element, true); $first_para->parentNode->insertBefore($imported_element, $first_para->nextSibling); $output = @ $dom->saveHTML(); echo $output;

Обратите внимание, что saveHTML() метод возвращает измененную строку html.

Удаление элемента из документа

Чтобы удалить элемент из нашего HTML, мы можем использовать removeChild() метод из DOMElement класса.

$html = '
This is our first paragraph
 
Delete this
 
This is our second paragraph
 
This is our third paragraph
 
Delete this too
'; $dom = new DomDocument(); @ $dom->loadHTML($html); $documentElement = $dom->documentElement; echo $dom->saveHTML(); $xpath = new DOMXpath($dom); $elems = $xpath->query("//div[@class='del']"); foreach( $elems as $elem ) < $elem->parentNode->removeChild($elem); > echo '

-------after deletion--------

'; echo $dom->saveHTML();

Здесь мы выполнили запрос XPath, чтобы найти все элементы класса del . Затем мы удаляем каждый узел из документа, перебирая DOMNodeList объект с помощью foreach цикла.

This is our first paragraph Delete this This is our second paragraph This is our third paragraph Delete this too -------after deletion-------- This is our first paragraph This is our second paragraph This is our third paragraph

Манипулирующие атрибуты

Классы и идентификаторы — не единственные атрибуты, к которым мы можем получить доступ в PHP DOM. Класс DOMElement имеет несколько функций, которые могут получать, устанавливать или удалять атрибуты элемента. Эти методы выглядят аналогично Javascript. Так что вам будет легко понять.

• getAttribute($attribute_name) — получить значение атрибута
• setAttribute($attribute_name, $attribute_value) — установить значение атрибута
• hasAttribute($attribute_name) — проверяет, имеет ли элемент определенный атрибут и возвращает истину или ложь

$html = 'Content'; $dom = new DomDocument(); @ $dom->loadHTML($html); $elem = $dom->getElementsByTagName('span')->item(0); if( $elem->hasAttribute('data-action') ) < echo 'attribute value is "' . $elem->getAttribute('data-action') . '"'; $elem->setAttribute('data-action', 'hide'); echo '
updated attribute value is "' . $elem->getAttribute('data-action') . '"'; >

Вывод

До сих пор мы рассматривали некоторые важные API DOM в PHP. Я надеюсь, что это поможет вам начать разбирать данные HTML и XML с легкостью.

Источник