Schwarz wurde 1921 Mitglied der Kommunistischen Jugend Deutschlands und war auch im Zentralverband der Angestellten gewerkschaftlich organisiert. Anfang der zwanziger Jahre trat er der KPD bei. Ab 1922 leitete er die kommunistische Jugendgruppe in Prenzlauer Berg. In den Jahren 1924-1928 arbeitete Schwarz als Redakteur der Zeitschrift "Junge Garde". Im Jahre 1927 wurde er Leiter der Roten Jungfront im Gau Berlin-Brandenburg. Seit 1929 arbeitete Schwarz im ZK der KPD. 1930 wurde er wegen seiner politischen Arbeit zu acht Monaten Festung verurteilt. Er war 1933 maßgeblich an der Überführung der KPD in die Illegalität beteiligt. Ende 1933 verhaftete die Gestapo Rudolf Schwarz im Zusammenhang mit der Inhaftierung von John Schehr. Sie lieferte ihn ins KZ Columbiahaus ein. Er wurde "auf der Flucht erschossen". In der Varnhagenstraße 24 erinnert seit 1975 eine Gedenktafel daran, daß Rudolf Schwarz in diesem Haus gewohnt hat.