分类目录归档:AI大模型
Fastgpt离线部署one-api报错及密码报错问题
在离线部署的时候发现one-api报错
[failed to get gpt-3.5-turbo token encoder: Get “https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoke[……]
ubuntu 22.04使用L40显卡显存仅有46068 MiB
L40标称显存为48G,为何ubuntu装完驱动之后使用nvidia-smi查看仅显示46068 MiB,这里看到ECC为0,实际是开启了。
原因就出自L40默认开启了ECC纠错,ECC纠错会导致额外占用显存3%-5%
关闭ECC纠错后务必重启服务器,待服务器重启之后观察nvid[……]