Niemann, Sohn eines Grundbesitzers und Gastwirts, besuchte die Realschule und ab Ostern 1845 die Höhere Bürgerschule in Aschersleben, die er aber 1847 aufgrund der finanziellen Situation im Elternhaus nicht abschloß. Er arbeitete dann, um Techniker zu werden, in einer Maschinenfabrik in Sudenburg. Danach war er in Helmstedt Statist am Theater und Chorsänger am Dessauer Hoftheater, wo er 1850 die Aufmerksamkeit der Fachwelt erregte. Ein Komponist entdeckte seine Stimme, und der Intendant des Hoftheaters in Hannover verpflichtete ihn zum Probesingen. Niemann erhielt eine Gesangsausbildung und einen Vertrag am Hoftheater in Hannover. 1854 sang er auf einer ostpreußischen Bühne den Tannhäuser und begeisterte sich für die Musik Richard Wagners. Wagner berief Niemann, nachdem sie sich bereits in Zürich begegnet waren, im Juli 1860 nach Paris zur Tannhäuser-Aufführung. Die Oper fiel durch, und Wagner begann sich von Niemann, den er zuvor gepriesen hatte, zu distanzieren. Dieser ging erneut nach Hannover und von dort 1864 nach München. Am 17.5.1864 trat er erstmals in Berlin auf. 1866 entschloß er sich, nach Berlin zu ziehen. 1868 feierte er in Wien Triumphe, 1889 sang er erneut an der Oper in Berlin, 1887/88 gab er Gastspiele in New York. Niemann gilt als einer der besten Wagnerinterpreten seiner Zeit. 1892 wohnte er in Berlin in der Ahornstraße 3, später zog er in die Drakestraße 2. Sein Grab befindet sich auf dem Friedhof der St.-Matthäi-Gemeinde, Großgörschenstraße, Bezirk Schöneberg.