Caspar debütierte 1933 in Bochum und wurde dann an die Münchner Kammerspiele berufen. 1938 bekam er ein Engagement in Berlin. Hier spielte er zwischen 1940 und 1944 am Schillertheater und hatte auch ab 1942 in Wien Auftritte. Caspar verkörperte Heldenrollen und wurde bevorzugt für die Darstellung tragischer Kämpfernaturen eingesetzt. 1940 spielte er im Film "Friedrich Schiller" die Hauptrolle, auch 1944 erhielt Caspar in Veit Harlans Durchhalteepos "Kolberg" eine Rolle. Nach Kriegsende war er am Deutschen Theater in Berlin und ab 1949 in Düsseldorf engagiert. Sein Ehrengrab befindet sich in Berlin-Zehlendorf auf dem Landeseigenen Friedhof Dahlem, Königin-Luise-Straße 57.