Tokenizer
Tokenizer
Panoramica
Tokenizer è una classe in Aspose.Html FOSS per Python.
WHATWG HTML tokenizzatore (§13.2.5).
Questa classe fornisce 4 metodi per lavorare con oggetti Tokenizer nei programmi Python. I metodi disponibili includono: __init__, set_state, tokenize, tokenize_fragment. Tutti i membri pubblici sono accessibili a qualsiasi applicazione Python dopo aver installato il pacchetto Aspose.Html FOSS per Python. Proprietà: errors, state.
Proprietà
| Nome | Tipo | Accesso | Descrizione |
|---|---|---|---|
state | TokenizerState | Lettura | Lo stato attuale del tokeniser. |
errors | list[ParseError] | Lettura | Errori di parsing raccolti durante la tokenisation. |
Metodi
| Firma | Descrizione |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) su questa istanza di Tokenizer. |
set_state(state: TokenizerState) | Inserisci un nuovo stato nel tokeniser. |
tokenize() → Generator[AnyToken, None, None] | Tokenizza il testo di input e restituisci i token uno alla volta. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenizza text come frammento per l’analisi di innerHTML. |
