Tokenizer
Tokenizer
نمای کلی
Tokenizer یک کلاس در Aspose.Html FOSS برای Python است.
توکنایزر HTML WHATWG (§13.2.5).
این کلاس ۴ متد برای کار با اشیای Tokenizer در برنامه‌های Python ارائه می‌دهد. متدهای موجود شامل: __init__, set_state, tokenize, tokenize_fragment. تمام اعضای عمومی پس از نصب بسته Aspose.Html FOSS برای Python به هر برنامه Python دسترسی دارند. ویژگی‌ها: errors, state.
خواص
| نام | نوع | دسترسی | توضیح |
|---|---|---|---|
state | TokenizerState | خواندن | وضعیت فعلی توکنایزر. |
errors | list[ParseError] | خواندن | خطاهای تجزیه‌ای که در طول توکن‌سازی جمع‌آوری شده‌اند. |
روش ها
| امضا | توضیح |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) در این نمونه Tokenizer. |
set_state(state: TokenizerState) | یک وضعیت جدید را به tokeniser تزریق کنید. |
tokenize() → Generator[AnyToken, None, None] | متن ورودی را tokenise کنید و توکن‌ها را یکی‌یکی بازگردانید. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | text را به‌عنوان یک fragment برای تجزیه innerHTML tokenise کنید. |
