Erler, Sohn eines Friseurs und einer Schneiderin, studierte in Berlin und war bis 1933 Werbeleiter der Sozialistischen Arbeiterjugend im Bezirk Prenzlauer Berg. Er war Vorsitzender der Sozialistischen Schülergemeinschaft von Groß-Berlin. Im Jahre 1935 war Erler als Stadtinspektor in Berlin beschäftigt. Aus dieser Stellung wurde er wegen seiner politischen Auffassungen 1937 entlassen. Aktiv im illegalen antifaschistischen Widerstandskampf als Leitungsmitglied der Berliner SAJ tätig, wurde Erler 1939 vom "Volksgerichtshof" zu zehn Jahren Zuchthaus verurteilt. Im April 1945 gelang ihm die Flucht von einem Häftlingstransport. Von 1946 bis 1949 hatte Erler ein Mandat im Württembergischen Landtag und war etwa zur gleichen Zeit Landrat in Tuttlingen, ab 1949 war er Mitglied des Bundestages. Er hatte innerhalb der SPD maßgeblichen Anteil an der Durchsetzung des Godesberger Programms im Jahre 1959. Im Jahre 1964 wählte man ihn zum stellvertretenden Bundesvorsitzenden und zum Fraktionsvorsitzenden der SPD im Bundestag. Er trat 1966 für die Große Koalition mit der CDU/CSU ein.