Wolfs musikalische Begabung wurde früh gefördert; ab 1875 erhielt er Klavierunterricht am Konservatorium der Gesellschaft der Musikfreunde in Wien, wurde aber wegen eines Disziplinarvergehens nach zwei Jahren entlassen. Seine Bemühungen, sich als privater Musiklehrer durchzusetzen, scheiterten. 1881 wurde er Hilfskapellmeister am Salzburger Stadttheater. Von 1884 bis 1887 war er als Musikkritiker am "Wiener Salonblatt" tätig. Seine gegen Brahms gerichteten törichten Urteile verschafften ihm viele Feinde. Nach dem Tod seines Vaters 1887 lebte er als freischaffender Komponist in Wien oder bei Freunden und Gönnern. In den folgenden zehn Schaffensjahren komponierte er vor allem Liederzyklen nach Kleist, Mörike, Eichendorff und Goethe. Etwa dreihundert Lieder begründen seinen künstlerischen Ruf. An Wagner geschult und beeinflußt von Schumann, entwickelte er sich (nach Schubert und Schumann und neben Brahms) zum vierten Meister des deutschen Liedes im 19. Jahrhundert. Nach ersten Anzeichen einer progressiven Paralyse wurde Wolf 1897 in eine Wiener Heilanstalt eingeliefert. 1898 noch einmal entlassen, kam er nach Reisen durch Italien und Österreich endgültig in die niederösterreichische Landesirrenanstalt, in der er 1903 seinem Leiden erlag.