Er wurde am Wiener Konservatorium ausgebildet, studierte seit 1843 in Leipzig und wurde 1850 Konzertmeister in Weimar, 1854–1866 in Hannover. Nach 1866 ließ Joachim sich in Berlin nieder, wurde Professor, Direktor der Musikhochschule und Mitglied der Akademie der Künste. Als Primarius des nach ihm benannten Streichquartetts wurde er ebenso gerühmt wie als Solist. Sein Ehrengrab befindet sich auf dem Friedhof der Kaiser-Wilhelm-Gedächtnis-Gemeinde in Charlottenburg, Fürstenbrunner Weg 69–79.