Bereits 1317 wurde das Haus Hertefeld erstmals als Rittersitz erwähnt. Im 14. Jahrhundert war Hertefeld eine eigenständige Herrschaft. Eine wechselvolle Geschichte führte zu einer immer enger werdenden Bindung an die Grafen von Kleve. 1485 teilte sich die Linie derer von Hertefeld. Die von und zu Hertefelds hatten zu Friedrich Wilhelm, dem Großen Kurfürsten (1620–1688), sehr gute Kontakte. Jobst Gerhard von Hertefeld zum Kolk († 1659 Gut Liebenberg), der Onkel von Samuel, hatte 1652 in der Mark Brandenburg das Gut Liebenberg (Löwenberger Land) erworben. Er war Brandenburgisch-Klevischer Oberjägermeister, und die Mark wurde ständiger Wohnsitz der Familie. Jobst Gerhard von Hertefeld war mit der Urbarmachung des Besitzes um das Gut Liebenberg befaßt, wofür er klevische Landarbeiter herbeiorderte. Theodor Fontane (1819–1898) rühmte dies als eine große Pioniertat. Der Neffe Samuel übernahm, noch minderjährig, 1678 das Gut Liebenberg. Schon mit 15 Jahren trat er als Jagdpage in die Dienste des Kurprinzen und späteren ersten preußischen Königs. Außerdem begleitete er den Monarchen auf dessen Feldzügen. 1697 ernannte der Kurprinz Samuel zum Klevischen Jägermeister, und ab 1704 trug Samuel von Hertefeld diesen Titel für das gesamte Brandenburg-Preußen. Er wurde von Friedrich I., König in Preußen (1657–1713), für diese Leistung in den Reichsfreiherrenstand erhoben. Der Oberjägermeister zweier preußischer Könige setzte das Werk seine Onkels fort. Er kolonisierte bis etwa 1708 das Terrain um Neu-Holland und machte von 1718 bis 1722 das Havelländische Luch und damit auch das ausgedehnte Sumpfgebiet nordwestlich von Spandau urbar. Friedrich Wilhelm I. (1688–1740) verlieh Hertefeld den Schwarzen Adlerorden und erhob ihn in den Reichsfreiherrenstand. Hertefeld wurde am 22.1.1730 im Kirchgewölbe von Liebenberg bestattet. Mit dem Freiherrn Karl von und zu Hertefeld starb die Familie 1867 im Mannesstamm aus.