Als Sohn eines Gastwirts und Bürgermeisters besuchte Gerhardt von 1622 bis 1627 die Fürstenschule in Grimma. Ab 1628 studierte er Theologie in Wittenberg. Gerhardt arbeitete dann u. a. in Berlin als Hauslehrer. Nachdem er in Mittenwalde als Prediger tätig war, kehrte er nach Berlin zurück und bekam 1657 die Stelle des Diakons an der Berliner St.-Nikolai-Kirche. Hier begann seine fruchtbare Zusammenarbeit mit dem Kantor Johann Crüger. Nach einem Streit um religiöse Fragen enthob der Kurfürst ihn 1666 von diesem Amt, da sich Gerhardt als orthodoxer Lutheraner entschieden gegen die Toloranz gegenüber dem Calvinismus aussprach. Seine Amtsenthebung wurde 1667 aufgehoben, jedoch verzichtete er auf die erneute Amtsübernahme. Ab 1669 lebte Gerhardt in Lübben. Er gilt als der bedeutendste evangelische Kirchenlieddichter nach Martin Luther. Seine 134 Lieder und Nachdichtungen von Psalmen gehören zu den besten Werken des evangelisch-lutherischen Kirchengesangs. Viele seiner Lieder haben volksliedhaften Charakter (z. B. „Nun ruhen alle Wälder“, „Geh aus mein Herz und suche Freud“).