Tokenizer
Tokenizer
Overzicht
Tokenizer is een klasse in Aspose.Html FOSS voor Python.
WHATWG HTML tokenizer (§13.2.5).
Deze klasse biedt 4 methoden voor het werken met Tokenizer-objecten in Python-programma’s. Beschikbare methoden zijn: __init__, set_state, tokenize, tokenize_fragment. Alle publieke leden zijn toegankelijk voor elke Python-applicatie na het installeren van het Aspose.Html FOSS voor Python-pakket. Eigenschappen: errors, state.
Eigenschappen
| Naam | Type | Toegang | Beschrijving |
|---|---|---|---|
state | TokenizerState | Lezen | De huidige tokeniserstatus. |
errors | list[ParseError] | Lezen | Parse-fouten verzameld tijdens tokenisatie. |
Methoden
| Handtekening | Beschrijving |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(tekst, initial_state) op deze Tokenizer-instantie. |
set_state(state: TokenizerState) | Injecteer een nieuwe toestand in de tokeniser. |
tokenize() → Generator[AnyToken, None, None] | Tokeniseer de invoertekst en lever tokens één voor één. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokeniseer text als een fragment voor innerHTML parsing. |
