Der einer altadeligen protestantischen fränkischen Familie entstammende Altenstein war nach seinem Studium in Erlangen und Göttingen in preußischen Diensten in Ansbach tätig. Hardenberg, der diesen während seiner Amtszeit in Ansbach-Bayreuth kennengelernt hatte, holte ihn zur Jahrhundertwende nach Berlin, wo er schnell als preußischer Staatsdiener Karriere machte. Mit wenig über dreißig Jahren hatte er mit seiner Ernennung zum Geheimen Oberfinanzrat 1803 die höchste Stufe in der preußischen Verwaltungshierarchie erreicht. In der Folgezeit wirkte er an der Ausarbeitung der Reformvorschläge Hardenbergs mit und übernahm verschiedene Verwaltungsaufgaben, wie die der Verwaltung der Finanzen von 1808 bis 1810. 1817 wurde er Mitglied des Staatsrates und Leiter des neugeschaffenen Kultusministeriums. Er begann ein kulturelles Reformwerk, das Preußen zum "intelligenten Beamtenstaat" im Sinne eines Fichte entwickeln sollte. Zu seinen Wirkungen gehören u. a. die Gründung der Universität Bonn, der Ausbau der Universitäten Halle, Breslau und Berlin, die Ausdehnung der Schulpflicht auf das ganze preußische Staatsgebiet, Einrichtung von Lehrerseminaren und Erlaß einer einheitlichen Prüfungsordnung für Lehrer, Regelungen für das Abitur, Einrichtung bzw. Beförderung von Museen und Bibliotheken. 1838 bat Altenstein um seinen Abschied, den er im Dezember des Jahres erhielt. Sein Grab auf dem Dreifaltigkeitsfriedhof, Kreuzberg, Bergmannstraße, ist seit 1970 Ehrengrabstätte.