怎么确定算的慢是需要加显卡还是加内存?

timespaceckn
哈阿乌 09月09日 字数 30

AI 人工智能
7 个回复
zszqzzzf
炼狱天使——反者道之动 09月09日

看你的算法是否用到显存。

【 在 timespaceckn (哈阿乌) 的大作中提到: 】

timespaceckn
哈阿乌 09月09日

怎么判断呢  有矩阵运算就是用到显存?

【 在 zszqzzzf 的大作中提到: 】

: 看你的算法是否用到显存。

: 【 在 timespaceckn (哈阿乌) 的大作中提到: 】

: ....................

Joseph2012
业余玩家 09月09日

win系统可以从任务管理器查看内存/显存占用,是不是耗尽了。如果一开始很快,越来

越慢,那很有可能是耗尽了某一项,程序本身也许存在问题。

linux应该也有类似的。

【 在 timespaceckn (哈阿乌) 的大作中提到: 】

timespaceckn
哈阿乌 09月09日

mac不行吗

【 在 Joseph2012 的大作中提到: 】

: win系统可以从任务管理器查看内存/显存占用,是不是耗尽了。如果一开始很快,越来

: 越慢,那很有可能是耗尽了某一项,程序本身也许存在问题。

: linux应该也有类似的。

: ....................

sixue1999
宋似雪 09月09日

看你把什么东西放到显存里啊

如果用pytorch,你原始数据多大,每一步运算占多少内存,这都是可以预估出来的

如果你用cuda自己写算法,那么把数据放到显存里这本来就是要你显式去做的,然后中间结果有哪些用到显存也是可以预估的

AI算法,跟通用软件区别还是挺大的

总体的流程其实挺简单的,每一步用多少内存,其实很容易估计

当然更简单的办法用nvidia-smi时刻监视着gpu和显存占用情况(另一边程序还不停的输出log),就可以大致估计出,程序每一步大概用多少显存了

【 在 timespaceckn (哈阿乌) 的大作中提到: 】

: 怎么判断呢  有矩阵运算就是用到显存?

sixue1999
宋似雪 09月09日

另外,ai算法算的慢,一般不能靠加显卡或内存解决

因为他不是通用软件

ai算法如果显卡和内存资源不足,表现的结果不是算的慢,而是一般跑不起来

如果真觉得算的慢,需要做的是改进算法

当然改进算法的结果,可能是需要的资源更多

那个时候确实有可能需要加显卡,加内存

btw:有一种情况是

有些算法,除了用gpu以外,还会提供一个cpu的乞丐版

虽然很慢,但是至少能出结果

如果你遇到的是这种情况,倒确实可以通过加显卡解决

【 在 sixue1999 (宋似雪) 的大作中提到: 】

: 看你把什么东西放到显存里啊

: 如果用pytorch,你原始数据多大,每一步运算占多少内存,这都是可以预估出来的

: 如果你用cuda自己写算法,那么把数据放到显存里这本来就是要你显式去做的,然后中间结果有哪些用到显存也是可以预估的

: ...................

mindcontrol
mindcontrol 09月10日

mac自带不能看显存吧

istat menus可以

【 在 timespaceckn () 的大作中提到: 】

: mac不行吗

: 【 在 Joseph2012 的大作中提到: 】