Er studierte in Göttingen und Berlin Theologie. Danach übernahm er 1832 in Hamburg die Leitung einer Sonntagsschule. 1833 richtete er bei Hamburg das "Rauhe Haus" ein, eine bis in die Gegenwart existierende Erziehungsstätte für sozial und moralisch gefährdete männliche Jugendliche. Die Einrichtung war gleichzeitig mit einer Ausbildungsstätte für Gehilfen verbunden, aus der das erste Bruderhaus, die Keimzelle der evangelischen männlichen Diakonie, entstand. Wichern wurde 1848 zum Begründer der Inneren Mission in Deutschland. Im Jahre 1858 gründete er am Plötzensee das Johannesstift, das dann 1908-1910 im Spandauer Stadtforst angesiedelt wurde. 1856-1872 war Wichern Oberkonsistorialrat und preußischer Ministerialrat für das Gefängnis- und Armenwesen in Berlin.