Tokenizer
Tokenizer
نظرة عامة
Tokenizer هي فئة في Aspose.Html FOSS لـ Python.
محلل الرموز HTML الخاص بـ WHATWG (§13.2.5).
توفر هذه الفئة 4 طرق للعمل مع كائنات Tokenizer في برامج Python. تشمل الطرق المتاحة: __init__, set_state, tokenize, tokenize_fragment. جميع الأعضاء العامة متاحة لأي تطبيق Python بعد تثبيت حزمة Aspose.Html FOSS لـ Python. الخصائص: errors, state.
خصائص
| اسم | النوع | الوصول | وصف |
|---|---|---|---|
state | TokenizerState | قراءة | الحالة الحالية للـ tokeniser. |
errors | list[ParseError] | قراءة | أخطاء التحليل التي تم جمعها أثناء tokenisation. |
الطرق
| التوقيع | وصف |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) على هذا المثيل من Tokenizer. |
set_state(state: TokenizerState) | حقن حالة جديدة في tokeniser. |
tokenize() → Generator[AnyToken, None, None] | قسّم النص المدخل وأنتج الرموز واحدةً تلو الأخرى. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | قسّم text كجزء من تحليل innerHTML. |
