Hertzberg entstammte einem alten Pommerschen Geschlecht, das am 19.9.1786 zu Berlin das preußische Adelsdiplom erhielt. Er studierte ab 1742 Geschichte und deutsches Staatsrecht in Halle und promovierte 1745 im Fach Rechtswissenschaft. Ab 1745 lebte er in Berlin und war im Geheimen Staatsarchiv angestellt, über das er 1750 die alleinige Aufsicht erhielt. 1752 wurde er zum Geheimen Legationsrat berufen. In dieser Position verhandelte er im Auftrag des Königs seit dem 30.12.1762 über den Frieden zwischen Preußen, Österreich und Sachsen auf Schloß Hubertusburg. Am 15.2.1763 wurde dort der Siebenjährige Krieg beendet. Von 1763 bis 1791 war Hertzberg preußischer Minister für auswärtige Angelegenheiten. Am 5.7.1791 nahm er seinen Abschied. Hertzberg war auch als Historiker zu seiner Zeit anerkannt und Mitglied der Akademie der Wissenschaften. 1753 erwarb er das Gut Britz und gestaltete es zu einem landwirtschaftlichen Musterbetrieb um. Er besaß ein Haus in der Niederwallstraße 12. Sein Grab befindet sich in Berlin-Neukölln auf dem Friedhof der Dorfgemeinde Britz, Backbergstraße 38 a.