僅先進行分享解決辦法
發生於transformers的tokenizer_utils.py
在unsloth 某版本的修正方式為，在引起錯誤的地方直接新增(那個註解也是unsloth自己寫的)
e950280
if type(slow_tokenizer) is bool: slow_tokenizer = None
在tokenizer_utils.py中的 def _load_correct_tokenizer裡面定義slow_tokenizer後，第一個try catch後，直接加上
if type(slow_tokenizer) is bool: slow_tokenizer = None
也有人表示請直接使用
tokenizer=AutoTokenizer.from_pretrained("facebook/MobileLLM-1B", use_fast=False)
iThome鐵人賽
看影片追技術
看更多