將文字視為原始 Unicode 的語言無關分詞器。支援 BPE 與 Unigram 演算法。速度快（≈50k 句/秒）、體積小（約 6MB 記憶體）、詞彙表具確定性。被 T5、ALBERT、XLNet、mBART 等採用。可在不進行預先分詞的情況下於原始文字上訓練。適用於需要多語言支援、CJK（中日韓）語言或…
將文字視為原始 Unicode 的語言無關分詞器。支援 BPE 與 Unigram 演算法。速度快（≈50k 句/秒）、體積小（約 6MB 記憶體）、詞彙表具確定性。被 T5、ALBERT、XLNet、mBART 等採用。可在不進行預先分詞的情況下於原始文字上訓練。適用於需要多語言支援、CJK（中日韓）語言或可重...
本頁屬於 OpenClaw Skills 學習體系，涵蓋技能安裝、分類導覽與實戰連結。