Er war der Sohn des Physikers Rudolf Hermann Arndt Kohlrausch, der wesentliche Forschungsbeiträge zur Elektrostatik geleistet hat. Ehe er 1895 Präsident der Physikalisch-Technischen Reichsanstalt Berlin-Charlottenburg wurde, arbeitete er als Hochschullehrer in Göttingen, Zürich, Darmstadt, Würzburg und ab 1888 in Straßburg. In den Jahren von 1900 bis 1905 lehrte Kohlrausch zugleich als Dozent an der Berliner Universität. Er trug mit seinen Forschungen u. a. zum Leitvermögen der Elektrolyte zum weltweiten Ansehen der Reichsanstalt bei. Er war einer der bekanntesten Experimentalphysiker und entwickelte zahlreiche elektrische und magnetische Meßinstrumente. 1870 gab Kohlrausch den "Leitfaden für praktische Physik" heraus. 1885 bestimmte er gemeinsam mit seinem Bruder Wilhelm Kohlrausch die absolute Wanderungsgeschwindigkeit der Ionen (Kohlrausch-Gesetz).