Tokenizer
Tokenizer
סקירה כללית
Tokenizer היא מחלקה ב-Aspose.Html FOSS עבור Python.
הטוקניזר של WHATWG HTML (§13.2.5).
המחלקה הזו מספקת 4 שיטות לעבודה עם אובייקטי Tokenizer בתוכניות Python. השיטות הזמינות כוללות: __init__, set_state, tokenize, tokenize_fragment. כל החברים הציבוריים נגישים לכל יישום Python לאחר התקנת חבילת Aspose.Html FOSS עבור Python. מאפיינים: errors, state.
מאפיינים
| שם | סוג | גישה | תיאור |
|---|---|---|---|
state | TokenizerState | קריאה | מצב הטוקניזר הנוכחי. |
errors | list[ParseError] | קריאה | שגיאות ניתוח שנאספו במהלך הטוקניזציה. |
שיטות
| חתימה | תיאור |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(טקסט, initial_state) במופע Tokenizer הזה. |
set_state(state: TokenizerState) | הזרק מצב חדש ל-tokeniser. |
tokenize() → Generator[AnyToken, None, None] | Tokenise את טקסט הקלט והחזר טוקנים אחד אחרי השני. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenise text כקטע עבור ניתוח innerHTML. |
