Tokenizer
Tokenizer
Обзор
Tokenizer является классом в Aspose.Html FOSS для Python.
WHATWG HTML токенизатор (§13.2.5).
Этот класс предоставляет 4 метода для работы с объектами Tokenizer в программах Python. Доступные методы включают: __init__, set_state, tokenize, tokenize_fragment. Все публичные члены доступны любой Python-приложению после установки пакета Aspose.Html FOSS для Python. Свойства: errors, state.
Свойства
| Имя: | Тип: | Доступ | Описание: |
|---|---|---|---|
state | TokenizerState | Чтение | Текущее состояние токенизатора. |
errors | list[ParseError] | Чтение | Ошибки разбора, собранные во время токенизации. |
Методы
| Подпись | Описание: |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) в этом экземпляре Tokenizer. |
set_state(state: TokenizerState) | Вставьте новое состояние в токенизатор. |
tokenize() → Generator[AnyToken, None, None] | Токенизируйте входной текст и выдавайте токены по одному. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Токенизируйте text как фрагмент для разбора innerHTML. |
