僅先進行分享解決辦法
發生於transformers的tokenizer_utils.py
在unsloth 某版本的修正方式為,在引起錯誤的地方直接新增(那個註解也是unsloth自己寫的)
if type(slow_tokenizer) is bool: slow_tokenizer = None
在tokenizer_utils.py中的 def _load_correct_tokenizer裡面定義slow_tokenizer後,第一個try catch後,直接加上
if type(slow_tokenizer) is bool: slow_tokenizer = None
也有人表示請直接使用
tokenizer=AutoTokenizer.from_pretrained("facebook/MobileLLM-1B", use_fast=False)