Zelter besuchte das Joachimsthalsche Gymnasium in Berlin und erlernte als Sohn eines Maurers dann auch dieses Handwerk. Am 1.12.1783 legte er seine Meisterprüfung ab. Neben der Ausübung seines Berufes studierte er Musik bei Karl Friedrich Christian Fasch und begann zu komponieren, so die Trauerkantate für Friedrich den Großen 1786. Im Jahre 1791 trat Zelter in den Singverein - die Berliner Singakademie - ein. Er vertrat seinen Lehrer und Freund Fasch als Dirigent und wurde schließlich 1800 dessen Nachfolger als Leiter der Singakademie. Zelter vertonte einige Gedichte Goethes, den er 1802 in Weimar besuchte und der die Kompositionen Zelters schätzte. Zelter war der einzige Berliner, bei dem Goethe das vertraute "Du" anwandte. 1806 wurde Zelter mit der Ehrenmitgliedschaft in der Königlichen Akademie der Künste zu Berlin geehrt und erhielt drei Jahre später eine Professur. Zelter gilt als der Begründer einer zeitgemäßen Musikausbildung in Berlin, da auf seine Initiativen u. a. 1807 die Gründung einer Instrumentalistenschule, das Königliche Institut für Kirchenmusik (1822) sowie das Musikseminar an der hauptstädtischen Universität im Jahre 1829 zurückgingen. Bereits 1809 hatte Zelter die erste Berliner Liedertafel, den ältesten Berliner Männerchor, gegründet. Die heutige Staatsbibliothek Unter den Linden erhielt auf seine Anregung hin im Jahre 1829 eine Musikabteilung, und Berlin verdankt es Zelters Engagement, daß die Singakademie ein eigenes Gebäude erhielt. Zelter arbeitete 1830 am evangelischen Gesangbuch mit und publizierte seine Kenntnisse über die Pflege der Musik. Zwischen 1810 und 1813 erschienen seine sämtlichen Lieder und Balladen. Seine berühmtesten Schüler waren Felix Mendelssohn Bartholdy und Giacomo Meyerbeer. Er wohnte (1801) Laufgasse (Gormannstraße) 29/30 und hatte seine Maurerwerkstatt in der Münzstraße 1. Sein Grab befindet sich auf dem Sophienkirchhof, nördlich der Kirche.