Tokenizer
Tokenizer
Genel Bakış
Tokenizer, Aspose.Html FOSS içinde Python için bir sınıftır.
WHATWG HTML tokenleyici (§13.2.5).
Bu sınıf, Python programlarındaki Tokenizer nesneleriyle çalışmak için 4 yöntem sağlar. Kullanılabilir yöntemler: __init__, set_state, tokenize, tokenize_fragment. Tüm ortak üyeler, Aspose.Html FOSS for Python paketini kurduktan sonra herhangi bir Python uygulaması tarafından erişilebilir. Özellikler: errors, state.
Özellikler
| Ad | Tür | Erişim | Açıklama |
|---|---|---|---|
state | TokenizerState | Okuma | Mevcut tokenleyici durumu. |
errors | list[ParseError] | Okuma | Tokenleştirme sırasında toplanan ayrıştırma hataları. |
Yöntemler
| İmza | Açıklama |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) bu Tokenizer örneğinde. |
set_state(state: TokenizerState) | Tokeniser’a yeni bir durum enjekte edin. |
tokenize() → Generator[AnyToken, None, None] | Girdi metnini tokenle ve tokenları tek tek üret. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | text‘ı innerHTML ayrıştırması için bir parça olarak tokenle. |
