Tokenizer
Tokenizer
Prezentare generală
Tokenizer este o clasă în Aspose.Html FOSS pentru Python.
WHATWG HTML tokenizator (§13.2.5).
Această clasă oferă 4 metode pentru lucrul cu obiecte Tokenizer în programele Python. Metodele disponibile includ: __init__, set_state, tokenize, tokenize_fragment. Toți membrii publici sunt accesibili oricărei aplicații Python după instalarea pachetului Aspose.Html FOSS pentru Python. Proprietăți: errors, state.
Proprietăți
| Nume | Tip | Acces | Descriere: |
|---|---|---|---|
state | TokenizerState | Citire | Starea curentă a tokenizatorului. |
errors | list[ParseError] | Citire | Erori de parsare colectate în timpul tokenizării. |
Metode
| Semnătură | Descriere: |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) pe această instanță de Tokenizer. |
set_state(state: TokenizerState) | Injectați o stare nouă în tokenizator. |
tokenize() → Generator[AnyToken, None, None] | Tokenizați textul de intrare și generați tokenuri unul câte unul. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenizați text ca fragment pentru parsarea innerHTML. |
