1939 begann er ein Studium an der Technischen Hochschule in Berlin-Charlottenburg. Nach Wehrdienst und Kriegsgefangenschaft setzte er 1947 sein Studium fort, gestaltete danach Ausstellungen und arbeitete als Architekt im Planungsamt Berlin-Kreuzberg. Nach einem weiteren Studium am Institute for Town & Country Planning Kings College wurde er 1953 zum Regierungsbaurat berufen. 1956-1960 arbeitete er als freier Architekt, 1960-1966 als Senats-Baudirektor von Westberlin. 1966-1970 wirkte Düttmann als ordentlicher Professor an der Technischen Universität und seit 1970 erneut als freier Architekt in Berlin. 1977-1983 war er Präsident der Akademie der Künste in Westberlin. 1964 wurde er mit dem Großen Kunstpreis des Landes Berlin-West geehrt. Zu den bedeutendsten Bauten seiner Architektenarbeit gehören der Ernst-Reuter-Platz, das Märkische Viertel, das Europacenter, das Kudamm-Eck und zahlreiche Wohnungsbauten, insbesondere in Kreuzberg.