Selbst als Jude und Kommunist aufs höchste gefährdet, schuf er 1936 eine Widerstandsgruppe aus Jugendlichen mit unterschiedlichen religiösen Ansichten und politischen Bindungen, die sich 1939 der Gruppe von Robert Uhrig anschloß. Die Herbert-Baum-Gruppe verübte am 18.5.1942 einen Brandanschlag auf die Hetzausstellung "Das Sowjetparadies". Ein in die Gruppe eingeschleuster Spitzel lieferte in den folgenden Tagen fast alle Mitglieder an die Gestapo aus. Herbert Baum starb bereits während der Untersuchungshaft an den Folgen der Mißhandlungen. Seine Grabstätte befindet sich auf dem Weißenseer Jüdischen Friedhof, zu dem die nach ihm benannte Straße führt.