Tokenizer
Tokenizer
概述
Tokenizer 是 Aspose.Html FOSS 中用于 Python 的一个类。
WHATWG HTML 标记器 (§13.2.5)。
此类提供 4 种方法，用于在 Python 程序中操作 Tokenizer 对象。可用的方法包括：__init__、set_state、tokenize、tokenize_fragment。在安装了 Aspose.Html FOSS for Python 包之后，所有公共成员对任何 Python 应用程序均可访问。属性：errors、state。
属性
| 名称 | 类型 | 访问 | 描述 |
|---|---|---|---|
state | TokenizerState | 读取 | 当前 tokeniser 状态。 |
errors | list[ParseError] | 读取 | 在 tokenisation 期间收集的解析错误。 |
方法
| 签名 | 描述 |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init在此 Tokenizer 实例上的 (text, initial_state)。 |
set_state(state: TokenizerState) | 向分词器注入一个新状态。 |
tokenize() → Generator[AnyToken, None, None] | 对输入文本进行分词，并一次产生一个 token。 |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | 将 text 分词为 innerHTML 解析的片段。 |
