Goßler studierte Jura in Berlin, Heidelberg und Königsberg und war 1864 als Assessor beim Oberlandesgericht Insterburg angestellt. 1875 arbeitete er im Ministerium des Innern in Berlin. Ab 1877 gehörte er dem Reichstag an, und 1879 wurde er Unterstaatssekretär im Kultusministerium. Von 1881 bis zu seinem Rücktritt am 11. März 1891 war Goßler Unterrichtsminister. Im Februar 1881 wurde Goßler Reichstagspräsident, im Juni desselben Jahres preußischer Kultusminister. Im Juli 1891 wurde er zum Oberpräsidenten der Provinz Westpreußen ernannt. Die Familie war 1813 geadelt worden.