pour faire simple, un GPU a énormément de coeur comparé à un CPU, mais ils sont beaucoup moins cadencés. De plus, l'architecture est spécifique pour du traitement en parallèle (cf SIMD).
Si je te prends la dernière Titan utilisé pour de simple WorkStation (http://www.nvidia.fr/graphics-cards/geforce/pascal/titan-xp/ ) 3840 coeur pour un total de 12 tflops. Un CPU tout seul ne peut pas rivaliser.
En revanche, pour qu'un GPU te soit rentable, il faut appliquer en gros, appliquer le même traiment à tes données (d'où le nom de SIMD). En deep learning, que tu fasses du feedforward ou des convolutions, en gros tu as énormément de calcul matriciel et les GPUs fonctionnent superbes bien pour ça.
Pour finir, oui ton GPU peut-être utilisé mais ne t'attend pas à un speed-up incroyable (mais c'est mieux que rien).