Baumbach studierte bei Schaper und Begas. 1885 trat er erstmals mit Werken an die Öffentlichkeit, wurde auf Ausstellungen in München (1892) und Chicago (1893) prämiert. Er widmete sich vor allem heroischen Herrscherstatuen. Anläßlich der Enthüllung seines Kaiser-Friedrich-Denkmals bei Wörth wurde er zum Professor ernannt. Zu seinen Werken gehören das Dopppelstandbild der brandenburgischen Markgrafen Johann I. und Otto III., das in der ehemaligen "Siegesallee" aufgestellt war, sowie eine Kolossalstatue, die er 1903 für den Berliner Dom geschaffen hat.