【通义千问】Qwen从本地加载分词器报错‘‘tokenizer class not exist‘‘

问题描述：

将模型文件下载到本地，

模型文件==>https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main

 通过【from_pretrained】去加载本地磁盘上的分词器

YOURPATH = 'models/Qwen-7B-Chat'

name = 'Qwen/Qwen-7B-Chat'
tokenizer = AutoTokenizer.from_pretrained(YOURPATH, local_files_only=True)

运行结果报错

分析：

从报错信息中可知,问题来源tokenization_auto.py", line 729。由于调用了 AutoTokenizer.from_pretrained(YOURPATH, local_files_only=True)。这个调用尝试从给定的路径（YOURPATH）加载一个预训练的 tokenizer。local_files_only=True 参数表示只从本地文件系统加载预训练的 tokenizer，不会尝试从互联网下载。在尝试加载 tokenizer 的过程中，程序在 tokenization_auto.py 文件的第724行抛出了一个 ValueError。错误信息是 "Tokenizer class QWenTokenizer does not exist or is not currently imported."，意思是 QWenTokenizer 这个 tokenizer 类不存在，或者没有被当前程序导入。