RTX 3050 laptop 4GB help
#12
by
paltj
- opened
it runs very good at the SAM or SAM2, like 1 or 2 seconds to results, but this SAM3 takes like minutes, am I doing something wrong?
你看看是不是爆显存了?
3.45G的权重+推理框架, 基本上4G显存无法容纳
我认为大概率是因为你所需显存超过4G,然后部分内容加载到内存中, 内存比显存慢数十倍很正常
至于解决办法, 我的工作笔记本电脑也是4G显存,我正在尝试解决, 有进展会告知你
如果你有解决办法也可以与我分享
很遗憾的告诉你
等待量化、蒸馏版本出现吧
我的私人电脑是24G显存，运行很顺畅。不过我的工作电脑就不行了，我打算把模型移动到服务器上运行