有人说,我做一款AI芯片,只要原生支持PyTorch就好了呀,用户直接用PyTorch跑模型,根本接触不到CUDA呀。
没错,一般的用户只要在PyTorch层面做应用,但是总是有新的模型架构出来,这些架构都需要做特定的性能优化才能在一个芯片上得到较高的性能,这时候就涉及到算子开发了。
比如说一开始LLM在GPU上的性能不好,后来社区针对Nvidia GPU做了flash attention等的优化才把LLM的性能提升到了比较可观的程度。
CUDA已经被各种开源AI框…。
上一篇 : 印度为什么一定要和中国作对?
下一篇 : Golang和J***a到底怎么选?
精子会残留在女性的体内嘛?...
娃哈哈被曝 2025 年已关停 18 家工厂,此前曾回应纯净水由今麦郎代工,娃哈哈到底在布局什么?...
黄晓明上戏考博落榜,本人回应「明年再战」,怎样看明星对高学历的追求?上戏博士有多难考?...
儿子抑郁四年左右了,他的未来该怎么办?...