Die Stadt wurde durch den seit dem 15. Jahrhundert belegten Silberbergbau bekannt. Sie wurde im 14. Jahrhundert erstmals erwähnt, erhielt 1528 Stadtrecht und wurde 1636 freie Bergstadt. Im Ergebnis des Zweiten Weltkriegs kam Silberberg 1945 an Polen und verlor aufgrund der geringen Einwohnerzahl sein Stadtrecht. Srebrna Góra hat Metall- und Holzindustrie, Silbererzbergbau und ist ein Tourismuszentrum.