Er besuchte von 1622 bis 1627 die Fürstenschule Grimma und studierte seit 1628 in Wittenberg Theologie. 1651 wurde er Probst in Mittenwalde, und in den Jahren von 1657 bis 1666 war er Diakon und Prediger in der Berliner St.-Nicolai-Kirche. Hier wurde er vom Großen Kurfürsten suspendiert, weil er sich als orthodoxer Lutheraner gegen die Toleranz gegenüber dem Calvinismus aussprach. Seitdem lebte er als Pfarrer in Lübben. Gerhardt gilt als der bedeutendste evangelische Kirchenlieddichter nach Martin Luther. Seine 134 Lieder und Nachdichtungen von Psalmen gehören zu den besten Werken des evangelisch-lutherischen Kirchengesangs. Viele seiner Lieder haben volksliedhaften Charakter (z. B. "Nun ruhen alle Wälder").