分类目录归档:AI大模型

AI大模型相关,包括显卡优化等等

Fastgpt离线部署one-api报错及密码报错问题

在离线部署的时候发现one-api报错

 [failed to get gpt-3.5-turbo token encoder: Get “https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoke[……]

Read more

发表在 AI大模型, 初始 | 留下评论

ubuntu 22.04使用L40显卡显存仅有46068 MiB

L40标称显存为48G,为何ubuntu装完驱动之后使用nvidia-smi查看仅显示46068 MiB,这里看到ECC为0,实际是开启了。

原因就出自L40默认开启了ECC纠错,ECC纠错会导致额外占用显存3%-5%

关闭ECC纠错后务必重启服务器,待服务器重启之后观察nvid[……]

Read more

发表在 AI大模型 | 留下评论