iT邦幫忙

1

AttributeError: 'bool' object has no attribute 'add_special_tokens'

  • 分享至 

  • xImage
  •  

僅先進行分享解決辦法

發生於transformers的tokenizer_utils.py

在unsloth 某版本的修正方式為,在引起錯誤的地方直接新增(那個註解也是unsloth自己寫的)

Unsure why this occurs!

if type(slow_tokenizer) is bool: slow_tokenizer = None

在tokenizer_utils.py中的 def _load_correct_tokenizer裡面定義slow_tokenizer後,第一個try catch後,直接加上
if type(slow_tokenizer) is bool: slow_tokenizer = None

也有人表示請直接使用
tokenizer=AutoTokenizer.from_pretrained("facebook/MobileLLM-1B", use_fast=False)


圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言