很多小伙伴在用vscode的时候发现无法给huggingface下载的LLM断点调试,主要原因是,huggingface的transformers包,在加载模型的时候,会copy一份模型到系统cache路径,所以你在自己下载的模型路径那里打断点是没用的,因为这个地方代码就没执行,执行的是它的克隆兄弟
。
分类 默认分类 下的文章

很多小伙伴在用vscode的时候发现无法给huggingface下载的LLM断点调试,主要原因是,huggingface的transformers包,在加载模型的时候,会copy一份模型到系统cache路径,所以你在自己下载的模型路径那里打断点是没用的,因为这个地方代码就没执行,执行的是它的克隆兄弟
。