Tokenizer
Tokenizer
Gambaran Umum
Tokenizer adalah kelas dalam Aspose.Html FOSS untuk Python.
Tokeniser HTML WHATWG (§13.2.5).
Kelas ini menyediakan 4 metode untuk bekerja dengan objek Tokenizer dalam program Python. Metode yang tersedia meliputi: __init__, set_state, tokenize, tokenize_fragment. Semua anggota publik dapat diakses oleh aplikasi Python mana pun setelah memasang paket Aspose.Html FOSS untuk Python. Properti: errors, state.
Properti
| Nama | Jenis | Akses | Deskripsi |
|---|---|---|---|
state | TokenizerState | Baca | Status tokeniser saat ini. |
errors | list[ParseError] | Baca | Kesalahan parsing yang dikumpulkan selama tokenisasi. |
Metode
| Tanda tangan | Deskripsi |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) pada instance Tokenizer ini. |
set_state(state: TokenizerState) | Suntikkan status baru ke dalam tokeniser. |
tokenize() → Generator[AnyToken, None, None] | Tokenisasi teks input dan hasilkan token satu per satu. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenisasi text sebagai fragmen untuk parsing innerHTML. |
