Retzdorff arbeitete, bis er sich als Rentier aus dem Berufsleben zurückzog und seinen botanischen Interessen nachging, beim Hauptsteueramt in Berlin. Er war 1892-1902 Friedenauer Gemeindevertreter. Die Familie Retzdorff machte verschiedene Stiftungen zugunsten der Gemeinde Friedenau.