# html.dkh: leer páginas web `html.dkh` descarga y analiza páginas HTML: saca el título, las etiquetas `meta`, los enlaces y el texto visible, y extrae datos con expresiones XPath. Usa HtmlAgilityPack (`Devkron.Ext.Html.dll`), así que **se instala aparte** del motor: vea [Bibliotecas de terceros](/es/devkron/2.0/bibliotecas/terceros/). > Esta biblioteca **lee** HTML. Para **escapar** texto al generar HTML (`html.encode`, `html.decode`, `html.attrs`) use [text.dkh](/es/devkron/2.0/bibliotecas/estandar/text.md), que viene con el motor. ## Cuándo usarla - Obtener la vista previa de un enlace (título, descripción, imagen `og:image`). - Revisar las páginas de un sitio propio: títulos vacíos, enlaces rotos, metadatos faltantes. - Pasar el texto de una página a un agente de IA sin etiquetas, scripts ni estilos. - Extraer datos de una página que no ofrece API (respete los términos de uso del sitio). ## Instalación Copie junto a `dkl` (o a la carpeta del servidor FastCGI) `html.dkh`, `Devkron.Ext.Html.dll` y `HtmlAgilityPack.dll`. ```dkl #include "html.dkh" ``` ## Funciones | Función | Devuelve | Descripción | |---|---|---| | `html.parse(html, url_base)` | registro | Analiza un HTML que ya tiene | | `html.from_url(url, encabezados)` | registro | Descarga la página con GET y la analiza | | `html.get(url, encabezados)` | cadena | Solo descarga el HTML | | `html.text(html)` | cadena | Texto visible | | `html.select(html, xpath)` | lista | Texto de cada nodo que coincide | | `html.select_attr(html, xpath, atributo)` | lista | Valor de un atributo en cada nodo | | `html.select_html(html, xpath)` | lista | HTML de cada nodo | ### html.parse(html, url_base) Devuelve un registro con: | Campo | Contenido | |---|---| | `url` | la `url_base` recibida | | `title` | texto de `` (entidades ya convertidas: `&` → `&`) | | `description`, `keywords` | contenido de esas etiquetas `meta`, `""` si no vienen | | `meta` | registro con todas las `meta`: el nombre (`name`, `property` como `og:title`, o `http-equiv`) en minúsculas → `content`; si hay repetidas gana la primera; `charset` si viene | | `links` | lista de URL absolutas, sin repetir, de los `<a href>`; los relativos se resuelven contra `url_base` (o contra `<base href>` si la página lo trae). Se omiten `#ancla`, `javascript:` y `data:`; se conservan `mailto:`, `tel:` y `ftp:` | | `text` | texto visible (igual que `html.text`) | | `content` | igual que `text` (nombre que usaba la herramienta anterior) | `url_base` puede ser `""`: entonces solo se conservan los enlaces que ya son absolutos. ### html.from_url(url, encabezados) Descarga la página con GET, sigue hasta 10 redirecciones y aplica `html.parse` con la URL final. Agrega al registro `status` (código HTTP) y `final_url`. - `encabezados`: registro con los encabezados que quiera enviar (`Authorization`, `Cookie`, `Accept-Language`…), o `@null`. Si no envía `User-Agent` se usa el de un navegador de escritorio; si no envía `Accept`, `text/html`. - Un campo especial `timeout` en el registro fija la espera en segundos (30 por omisión); no se envía como encabezado. - El juego de caracteres se toma de `Content-Type`; si no viene, de `<meta charset>`; si tampoco, UTF-8. Las páginas en Latin-1 se leen bien. - Límite: 20 MB por página. Respuestas comprimidas (gzip, brotli) se descomprimen solas. No se envían ni guardan cookies entre peticiones. ### html.get(url, encabezados) Igual que `html.from_url` pero devuelve el HTML como cadena, sin analizarlo. Úselo cuando vaya a hacer varias consultas `html.select` sobre la misma página. ### html.text(html) Texto visible, una línea por bloque (`p`, `div`, `li`, `h1`…, `br`), sin líneas vacías. Omite `head`, `script`, `style`, `noscript`, `template`, `svg`, `iframe`, `object` y los comentarios. Las celdas de una tabla quedan separadas por tabulador. ### html.select(html, xpath), html.select_attr(html, xpath, atributo), html.select_html(html, xpath) Ejecutan una expresión **XPath** (no selectores CSS) y devuelven una lista con un elemento por nodo encontrado; lista vacía si no hay coincidencias. | Lo que busca | XPath | |---|---| | todos los `h2` | `//h2` | | `li` con clase exacta `p` | `//li[@class='p']` | | clase que contiene `precio` | `//*[contains(@class,'precio')]` | | el primer `a` de cada `li` | `//li/a[1]` | | celdas de la segunda columna | `//table//tr/td[2]` | | solo el texto directo de `h1` | `//h1/text()` | - `html.select`: texto de cada nodo (como `html.text`). - `html.select_attr`: valor del atributo (`href`, `src`, `data-sku`…); `""` si el nodo no lo tiene. - `html.select_html`: HTML externo de cada nodo, para analizarlo después por partes. ## Diferencias con la herramienta anterior (HtmlScraper) | Antes | Ahora | |---|---| | `title` con entidades sin convertir (`&amp;`) | `title` ya convertido (`&`) | | `links` incluía `javascript:` y anclas | sin `javascript:`, `data:` ni `#ancla`; resueltos contra `<base href>` | | `text` con una línea por fragmento de texto, incluía `<title>` y `<noscript>` | una línea por bloque, celdas con tabulador, sin `head` ni `noscript` | | sin `meta` | registro `meta` con todas las etiquetas | | encabezados estáticos para todo el proceso | encabezados por llamada | `description`, `keywords`, `url` y `content` dan lo mismo. Funciones que no estaban en la propuesta original y que sí trae la versión 1.0.0: `html.get`, `html.select_attr` y `html.select_html`. ## Errores | Mensaje | Causa | |---|---| | `html: la URL '…' no es absoluta.` | Falta `https://` | | `html: solo se admiten URL http y https ('…').` | Otro esquema (`file:`, `ftp:`) o ruta relativa | | `html: el servidor respondió 404 … para '…'.` | Código HTTP de error (4xx, 5xx) | | `html: se agotó el tiempo de espera (N s) al descargar '…'.` | El servidor no respondió a tiempo; suba `timeout` | | `html: no se pudo descargar '…': …` | DNS, conexión rechazada, certificado inválido | | `html: la página pasa de 20 MB.` | Respuesta demasiado grande | | `html: los encabezados deben ser un registro.` | `encabezados` no es registro ni `@null` | | `html: no se puede enviar el encabezado '…' en una petición GET.` | Encabezado de contenido como `Content-Type` | | `html: falta la expresión XPath.` / `html: la expresión XPath '…' no es válida: …` | XPath vacío o mal escrito | ## Ejemplo: extraer el catálogo de una página ```dkl #include "dkli.dkh" #! program "leer catalogo" { #include "functions.dkh" #include "serialize.dkh" #include "html.dkh" pagina = "<html><head><title>Ferretería & Más

Catálogo

" ref d = html.parse(pagina, "https://tienda.ejemplo.com/catalogo/") do print("Título: " + d.title) do print("Descripción: " + d.description) do print("Enlaces: " + to.json(@@(d, "&links"))) do print("Texto:\n" + d.text) ref nombres = html.select(pagina, "//li[@class='p']/a") ref precios = html.select(pagina, "//li[@class='p']/b") ref claves = html.select_attr(pagina, "//li[@class='p']", "data-sku") for i=0; i