Tokenizer
Tokenizer
Przegląd
Tokenizer jest klasą w Aspose.Html FOSS dla Python.
tokenizer WHATWG HTML (§13.2.5).
Ta klasa udostępnia 4 metody do pracy z obiektami Tokenizer w programach Python. Dostępne metody to: __init__, set_state, tokenize, tokenize_fragment. Wszystkie publiczne członki są dostępne dla każdej aplikacji Python po zainstalowaniu pakietu Aspose.Html FOSS dla Python. Właściwości: errors, state.
Właściwości
| Nazwa | Typ | Dostęp | Opis |
|---|---|---|---|
state | TokenizerState | Odczyt | Aktualny stan tokenizera. |
errors | list[ParseError] | Odczyt | Błędy parsowania zebrane podczas tokenizacji. |
Metody
| Sygnatura | Opis |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) w tej instancji Tokenizer. |
set_state(state: TokenizerState) | Wstrzyknij nowy stan do tokenizera. |
tokenize() → Generator[AnyToken, None, None] | Tokenizuj tekst wejściowy i zwracaj tokeny po jednym. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenizuj text jako fragment dla parsowania innerHTML. |
