Er studierte zunächst Neue Sprachen, nahm jedoch nach einem längeren Englandaufenthalt ein Studium am Polytechnikum in Karlsruhe und an der Bauakademie auf. Nach einem weiteren Studium 1870-1872 an der Ecolé des Beaux Arts in Paris und der Baumeisterprüfung ließ er sich als Privatarchitekt in Berlin nieder. 1888 wurde Ihne zum Hofbaurat und Hofarchitekten in Berlin ernannt. 1899 wurde er Mitglied der Akademie des Bauwesens, 1910 Ehrenmitglied der Ecolé des Beaux Arts von Paris. Er baute vor allem neubarocke wilhelminische Repräsentativbauten, u. a. den Neuen Marstall, das Kaiser-Friedrich-Museum (heute Bode-Museum) und die Staatsbibliothek sowie in Dahlem zahlreiche Forschungsinstitute für die Kaiser-Wilhelm-Gesellschaft, zu deren Mitbegründern er zählte. 1906 wurde er geadelt. Er wurde in der Gruft der Hedwigskirche beigesetzt.