Tokenizer
Tokenizer
ภาพรวม
Tokenizer เป็นคลาสใน Aspose.Html FOSS สำหรับ Python.
ตัวทำเครื่องหมายของ WHATWG HTML (§13.2.5).
คลาสนี้ให้ 4 วิธีสำหรับทำงานกับอ็อบเจกต์ Tokenizer ในโปรแกรม Python วิธีที่พร้อมใช้งานได้แก่: __init__, set_state, tokenize, tokenize_fragment. สมาชิกสาธารณะทั้งหมดสามารถเข้าถึงได้โดยแอปพลิเคชัน Python ใด ๆ หลังจากติดตั้งแพคเกจ Aspose.Html FOSS สำหรับ Python. คุณสมบัติ: errors, state.
คุณสมบัติ
| ชื่อ | ประเภท | การเข้าถึง | คำอธิบาย |
|---|---|---|---|
state | TokenizerState | อ่าน | สถานะของ tokeniser ปัจจุบัน. |
errors | list[ParseError] | อ่าน | ข้อผิดพลาดการพาร์สที่รวบรวมระหว่าง tokenisation. |
วิธีการ
| ลายเซ็น | คำอธิบาย |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) บนอินสแตนซ์ Tokenizer นี้. |
set_state(state: TokenizerState) | แทรกสถานะใหม่เข้าไปใน tokeniser. |
tokenize() → Generator[AnyToken, None, None] | Tokenise ข้อความอินพุตและส่งคืนโทเคนทีละหนึ่ง. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenise text เป็นส่วนย่อยสำหรับการพาร์ส innerHTML. |
