Tokenizer
Tokenizer
Übersicht
Tokenizer ist eine Klasse in Aspose.Html FOSS für Python.
WHATWG HTML Tokenizer (§13.2.5).
Diese Klasse stellt 4 Methoden zur Arbeit mit Tokenizer-Objekten in Python-Programmen bereit. Verfügbare Methoden sind: __init__, set_state, tokenize, tokenize_fragment. Alle öffentlichen Mitglieder sind für jede Python-Anwendung zugänglich, nachdem das Aspose.Html FOSS für Python-Paket installiert wurde. Eigenschaften: errors, state.
Eigenschaften
| Name | Typ | Zugriff | Beschreibung |
|---|---|---|---|
state | TokenizerState | Lesen | Der aktuelle Tokeniser-Zustand. |
errors | list[ParseError] | Lesen | Während der Tokenisierung gesammelte Parser-Fehler. |
Methoden
| Signatur | Beschreibung |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) bei dieser Tokenizer-Instanz. |
set_state(state: TokenizerState) | Füge einen neuen Zustand in den Tokeniser ein. |
tokenize() → Generator[AnyToken, None, None] | Tokenisiere den Eingabetext und gib Token einzeln zurück. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenisiere text als Fragment für das Parsen von innerHTML. |
