1. 问题描述

在 Jenkins Pipeline（https://k4nz.com/Continuous_Delivery/Jenkins_Pipeline.html）中，我们需要对 HTML 文档进行多种操作。之前使用 XMLParser 及 XMLSlurper 库操作 HTML 文档时遇到很多问题，因为 HTML 文档结构松散（比如没有结束标签等等），不是标准的 XML 文件，因此导致 XML 解析失败。

该笔记将整理：在 Groovy 中，操作 HTML 文档的常用方法

2. 解决方案

2.1. 方案一、使用 Jsoup 类库

项目主页：jsoup Java HTML Parser, with the best of HTML5 DOM methods and CSS selectors.（https://jsoup.org/）
获取文档的 DOM 对象：Parsing and traversing a Document: jsoup Java HTML parser（https://jsoup.org/cookbook/introduction/parsing-a-document）
使用选择器选择元素：Use selector-syntax to find elements: jsoup Java HTML parser（https://jsoup.org/cookbook/extracting-data/selector-syntax）
元素的查找、获取、操作：Use DOM methods to navigate a document: jsoup Java HTML parser（https://jsoup.org/cookbook/extracting-data/dom-navigation）

2.2. 方案二、使用 TagSoup 类库

我们未验证该方法，只是阅读 Grape（http://docs.groovy-lang.org/latest/html/documentation/grape.html）手册时发现该方法，这里仅简单记录：

// find the PDF links of the Java specifications
@Grab(group='org.ccil.cowan.tagsoup', module='tagsoup', version='1.2.1')
def getHtml() {
    def parser = new XmlParser(new org.ccil.cowan.tagsoup.Parser())
    parser.parse("https://docs.oracle.com/javase/specs/")
}
html.body.'**'.a.@href.grep(~/.*\.pdf/).each{ println it }

3. 方案一、使用 Jsoup 类库

3.1. 简单的入门示例

@Grab(group='org.jsoup', module='jsoup', version='1.10.1')
import org.jsoup.Jsoup
import org.jsoup.nodes.* // Element
import org.jsoup.select.* // Elements

def htmlString = "<html><head><title>Title of Page</title></></head></html>"
def htmlDocument = Jsoup.parse(htmlString)

// 找到 title 元素，并获取其内容，然后修改内容
def titleElements = htmlDocument.getElementsByTag("title")
def title = titleElements.first().text()
def titleElement = titleElements.first().text("New Content")

// 找到 heading 元素
Elements hTags = htmlDocument.select("h1, h2, h3, h4, h5, h6");

// 找到 a 标签，并对属性进行操作
Element link = doc.select("a").first()

link.attr("href")       // 获取 href 属性
link.attr("href", "")   // 修改 href 属性
link.removeAttr("href") // 删除 href 属性

String linkOuterH = link.outerHtml() // 获取整个标签的 HTML 代码
String linkInnerH = link.html() // 获取标签内部的元素

3.2. 注意事项

如果可能，尽量不要使用任何 XML 类库操作 HTML 文本（因为 HTML 结构松散，允许出现未闭合标签）。

Jsoup 使用 HTML-parser，所以在输出的 HTML 中，总会被添加 <html>...</html> 外围标签，所以要进行处理：

@Grab(group='org.jsoup', module='jsoup', version='1.10.1')
import org.jsoup.Jsoup
import org.jsoup.nodes.* // Element
import org.jsoup.select.* // Elements

String html = "<p>some text...</p>";
Document docHtml = Jsoup.parse(html);

// 被添加 <html>..</html> 外围标签
println docHtml // <html><head></head><body><p>some text...</p></body></html>

// 需要进行提取，以取出自动添加的标签
println docHtml.body().html() // <p>some text...</p>

// 该问题还有其他解决方法：使用 XML-parser 解析，但是也有限制（比如，未闭合的标签将导致失败）
Document doc = Jsoup.parse(html, "", Parser.xmlParser());

4. 参考文献

Html Slurping in Groovy（https://stackoverflow.com/questions/40433443/html-slurping-in-groovy）
Use DOM methods to navigate a document（https://jsoup.org/cookbook/extracting-data/dom-navigation）
java - Jsoup: get all heading tags - Stack Overflow（https://stackoverflow.com/questions/12988256/jsoup-get-all-heading-tags ）
Use selector-syntax to find elements: jsoup Java HTML parser（https://jsoup.org/cookbook/extracting-data/selector-syntax ）
html - Get innerHTML via Jsoup - Stack Overflow（https://stackoverflow.com/questions/21956055/get-innerhtml-via-jsoup ）
java - How to avoid surrounding html head tags in Jsoup parse - Stack Overflow（https://stackoverflow.com/questions/26173769/how-to-avoid-surrounding-html-head-tags-in-jsoup-parse ）
Element (jsoup Java HTML Parser 1.14.1-SNAPSHOT API)（https://jsoup.org/apidocs/org/jsoup/nodes/Element.html ）

四时宝库

程序员的知识宝库

Groovy 操作 HTML 文档（groovy写文件）