Er studierte Chemie an der Berliner Universität und promovierte dort 1923 auf dem Gebiet der Anorganischen Chemie. Er erhielt an der Universität eine Assistentenstelle und war ab 1932 als Privatdozent tätig. 1930 gab er mit Eugen Rabinowitsch das „Periodische System“ heraus. 1938 erhielt Thilo eine außerordentliche Professor für Chemie an der Universität in Berlin, 1943 ging er als ordentlicher Professor für anorganische Chemie nach Graz. 1946 kam er ans I. Chemische Institut der Humboldt-Universität und wurde 1949 dessen Direktor. Thilo war mit anderen mit dem Wiederaufbau des Instituts zur chemischen Forschung beteiligt, der im großen und ganzen 1952 abgeschlossen war. Ab 1950 war Thilo zugleich Direktor des Instituts für anorganische Chemie der Berliner Akademie der Wissenschaften, zu deren ordentlichen Mitgliedern er ab 1949 zählte.