Er besuchte 1854 das Akademische Gymnasium in Wien und studierte 1858 Philologie an der dortigen Universität. Ab 1860 hörte er in Berlin Vorlesungen bei L. von Ranke. Ostern 1864 habilitierte er sich in Wien über den Ursprung der deutschen Literatur und gehörte im selben Jahr zu den Herausgebern „Der Denkmäler der deutschen Poesie und Prosa aus dem VIII. bis XII. Jahrhundert“. Am 24.7.1869 wurde er korrespondierendes Mitglied der Kaiserlichen Akademie in Wien. Am 3.7.1868 wurde Scherer ordentlicher Professor in Wien, 1872 ging er an die Universität nach Straßburg, und 1877 wurde er auf den eigens für ihn geschaffenen Lehrstuhl für neuere deutsche Literatur an die Berliner Universität berufen. Er wurde Mitglied der Königlichen Preußischen Akademie der Wissenschaft und Vizepräsident der Goethe-Gesellschaft. 1880–1883 kam seine „Geschichte der deutschen Literatur“ heraus, die in der Fachwelt ihrer Solidität der Untersuchungen wegen große Aufmerksamkeit erregte. Sein Verdienst bestand u. a. in der exakten Methode der Erforschung der Germanistik auf dem Gebiet der Literaturwissenschaft. Scherer war 1874 einer der Gründer der periodisch weitergeführten Sammlung „Quellen und Forschungen zur Sprach- und Kulturgeschichte der germanischen Völker“. Scherer wohnte Von-der-Heydt-Straße 1 A (1878–1885) und Lessingstraße 56 (1886). Er ist auf dem Alten Kirchhof der St.-Matthäus-Gemeinde beigesetzt.