Tokenizer
Tokenizer
Tổng quan
Tokenizer là một lớp trong Aspose.Html FOSS cho Python.
trình tokeniser HTML của WHATWG (§13.2.5).
Lớp này cung cấp 4 phương thức để làm việc với các đối tượng Tokenizer trong các chương trình Python. Các phương thức có sẵn bao gồm: __init__, set_state, tokenize, tokenize_fragment. Tất cả các thành viên công khai đều có thể truy cập bởi bất kỳ ứng dụng Python nào sau khi cài đặt gói Aspose.Html FOSS cho Python. Thuộc tính: errors, state.
Thuộc tính
| Tên | Kiểu | Truy cập | Mô tả |
|---|---|---|---|
state | TokenizerState | Đọc | Trạng thái tokeniser hiện tại. |
errors | list[ParseError] | Đọc | Các lỗi phân tích được thu thập trong quá trình tokenisation. |
Phương thức
| Chữ ký | Mô tả |
|---|---|
__init__(text: str, initial_state: TokenizerState) | Calls init(text, initial_state) trên instance Tokenizer này. |
set_state(state: TokenizerState) | Tiêm một trạng thái mới vào tokeniser. |
tokenize() → Generator[AnyToken, None, None] | Tokenise văn bản đầu vào và sinh token từng cái một. |
tokenize_fragment(context_element_name: str, text: str) → Generator[AnyToken, None, None] | Tokenise text như một đoạn cho việc phân tích innerHTML. |
