TensorFlow 在CUP上如何加快推理
发布于 11月前 作者 炎炎 来自其他
本帖最后由 炎炎 于 2018-11-14 10:21 编辑

大家好,我是炎炎,我们最遇到一个关于TensorFlow的工程问题,由于训练的网路比较大,训练好的网络在推理过程中比较慢,想问问各位大牛,有没有什么技术可以加快推理的过程
我们推理的机器用是CUP 4个32核,128g内存。我目前有6台配置的机器,现在只能分开来跑,但是单台机器推理过程都比较慢,想问问大家有没有什么好的想法

希望大牛提供点想法!!!


2回复

这是工业界大家都正在面临的问题,现在能做的就是两个方向,一个是提升硬件效率,另一个就是轻量化模型,很大比较大的模型实际上是有很大的优化空间的,再优化模型的部分我也发现了,有些模块用C++写的显然比python写的要快很多,比如说NMS非极大值抑制,希望对你有帮助

Antonio 发表于 2018-11-14 18:36
这是工业界大家都正在面临的问题,现在能做的就是两个方向,一个是提升硬件效率,另一个就是轻量化模型,很 ...

说的很有道理,我想问能不能分布式的去推理模型呢??

回到顶部