Tokenizer
Tokenizer
Огляд
Tokenizer є класом у Aspose.Html FOSS для Python.
Токенізатор WHATWG HTML (§13.2.5).
Цей клас надає 4 методи для роботи з об’єктами Tokenizer у програмах Python. Доступні методи включають: __init__, set_state, tokenize, tokenize_fragment. Усі публічні члени доступні будь-якому застосуванню Python після встановлення пакету Aspose.Html FOSS для Python. Властивості: errors, state.
Властивості
| Назва | Тип | Доступ | Опис |
|---|---|---|---|
state | TokenizerState | Читання | Поточний стан токенізатора. |
errors | list[ParseError] | Читання | Помилки розбору, зібрані під час токенізації. |
Методи
| Сигнатура | Опис |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) у цьому екземплярі Tokenizer. |
set_state(state: TokenizerState) | Вставте новий стан у токенізатор. |
tokenize() → Generator[AnyToken, None, None] | Токенізуйте вхідний текст і повертайте токени по одному. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Токенізуйте text як фрагмент для розбору innerHTML. |
