Scheffer diente seit 1870 im Heer und besuchte die Kriegsakademie. 1883 Hauptmann, 1894 Oberstleutnant, 1897 Oberst. 1896 wurde er Chef des Generalstabs des Gardekorps, 1899 Kommandeur eines Gardegrenadierregiments, 1906 einer Division und 1910 einer Brigade. Als General der Infanterie war er 1908-1911 Chef des 11. Armeekorps. Im Ersten Weltkrieg kommandierte er das 25. Reservekorps, das 17. Reservekorps und danach als Generaloberst eine Armeeabteilung. Im Jahre 1890 wurde er geadelt, 1905 Freiherr (Boyadel).