Tokenizer
Tokenizer
Visão geral
Tokenizer é uma classe em Aspose.Html FOSS para Python.
tokenizador HTML da WHATWG (§13.2.5).
Esta classe fornece 4 métodos para trabalhar com objetos Tokenizer em programas Python. Os métodos disponíveis incluem: __init__, set_state, tokenize, tokenize_fragment. Todos os membros públicos são acessíveis a qualquer aplicação Python após a instalação do pacote Aspose.Html FOSS para Python. Propriedades: errors, state.
Propriedades
| Nome | Tipo | Acesso | Descrição |
|---|---|---|---|
state | TokenizerState | Leitura | O estado atual do tokenizador. |
errors | list[ParseError] | Leitura | Erros de análise coletados durante a tokenização. |
Métodos
| Assinatura | Descrição |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(texto, initial_state) nesta instância do Tokenizer. |
set_state(state: TokenizerState) | Injete um novo estado no tokeniser. |
tokenize() → Generator[AnyToken, None, None] | Tokenise o texto de entrada e gere tokens um de cada vez. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenise text como um fragmento para a análise de innerHTML. |
