Tokenizer
Tokenizer
Översikt
Tokenizer är en klass i Aspose.Html FOSS för Python.
WHATWG HTML tokeniserare (§13.2.5).
Denna klass tillhandahåller 4 metoder för att arbeta med Tokenizer-objekt i Python-program. Tillgängliga metoder inkluderar: __init__, set_state, tokenize, tokenize_fragment. Alla offentliga medlemmar är åtkomliga för alla Python-applikationer efter att ha installerat Aspose.Html FOSS för Python-paketet. Egenskaper: errors, state.
Egenskaper
| Namn | Typ | Åtkomst | Beskrivning |
|---|---|---|---|
state | TokenizerState | Läs | Det aktuella tokeniseringsläget. |
errors | list[ParseError] | Läs | Tolkningsfel som samlats in under tokenisation. |
Metoder
| Signatur | Beskrivning |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) på den här Tokenizer-instansen. |
set_state(state: TokenizerState) | Infoga ett nytt tillstånd i tokeniseraren. |
tokenize() → Generator[AnyToken, None, None] | Tokenisera den inkommande texten och leverera token ett i taget. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenisera text som ett fragment för innerHTML-parsning. |
