Kausch studierte von 1885 bis 1890 an der Friedrich-Wilhelms-Universität in Straßburg/Elsaß Medizin. Am 8.7.1890 erhielt er die Approbation als Arzt. Er habilitierte sich mit der Arbeit "Über den Diabetes mellitus der Vögel" an der Universität Straßburg. Kausch war 1890/92 an der Psychiatrischen Nervenklinik in Straßburg, dann von 1892 bis 1896 an der dortigen Medizinischen Klinik angestellt. Er folgte dem Ruf an die Universitätsklinik Breslau, wo der bekannte Chirurg Johannes von Mikulicz-Radecki (1850-1905 als Leiter der Chirurgischen Klinik), einer der größten der damaligen Zeit, tätig war. In Breslau wirkte Kausch von 1896 bis 1906 und erhielt am 20.12.1902 den Professorentitel. 1905 wurde er zum Ärztlichen Direktor und zum Leiter der Chirurgischen Klinik des im Bau befindlichen Auguste-Viktoria-Krankenhauses in Schöneberg ausgewählt. Von 1906 bis zu seinem Tod leitete Kausch das Auguste-Viktoria-Krankenhaus in Schöneberg und war zugleich Direktor der Chirurgischen Klinik. In einer Vielzahl von Publikationen in Fachzeitschriften legte er seine Erfahrungen auf dem Gebiet der Darm- und Magen- sowie von Hirnoperationen dar. Er gilt als ein Pionier auf dem Gebiet der partiellen Duodenpankreatektomie, die er weltweit als erster Chirurg am 21.8.1909 im Schöneberger Krankenhaus erfolgreich durchführte. Im Gedenken an ihn wird alle zwei Jahre an verdiente Mediziner die Walter-Kausch-Medallie vergeben.