Ehlers stammte aus einer Beamtenfamilie, besuchte die Oberrealschule und war in der christlichen Jugendbewegung engagiert. Er studierte Rechtswissenschaften in Berlin und Bonn und nahm anschließend eine juristische Tätigkeit auf. Von 1933 bis 1934 war er Leiter eines Rechtsberatungsreferats des Stadtbezirks Steglitz. 1936 kehrte er in den Staatsdienst zurück und arbeitete als Richter, gleichzeitig gehörte er der Redaktion der Zeitschrift "Jugendwacht" an. Seine kirchlichen Aktivitäten führten schließlich dazu, daß er für den Staatsdienst endgültig abgelehnt wurde. 1939 wurde er entlassen und war nach 1945 juristischer Oberkirchenrat in Oldenburg. Ende 1950 wurde Ehlers zum Präsidenten des deutschen Bundestages gewählt. Von 1949 bis 1954 war er Mitglied des Bundestages (CDU) und bis 1954 Bundestagspräsident.