Er errang bei den Olympischen Spielen 1936 mit der 4x100-Meter-Staffel die Bronzemedaille. 1939 stellte Harbig, der zu seiner Zeit beste Mittelstreckenläufer, Weltrekorde über 400 Meter (0:46,0 min) und 800 Meter (1:46,6) auf. Der 800-Meter-Weltrekord blieb 16 Jahre lang bestehen. 1941 lief er Weltrekordzeit über 1000 Meter (2:21,5 min). Er fiel im Zweiten Weltkrieg. Im Jahre 1950 wurde der Rudolf-Harbig-Preis gestiftet, der dann jährlich bei den Deutschen Leichtathletikmeisterschaften dem würdigsten Sportler als Wanderpreis verliehen wurde.