Mosse war Sohn eines jüdischen Arztes. Er absolvierte eine Buchhändlerlehre und war danach in Berlin und Leipzig tätig. Er begann als Annoncenwerber für „Die Gartenlaube“ in Berlin. 1867 gründete er seine „Annoncen-Expedition“, die erste und einzige ihrer Art in der damaligen Zeit. Bis 1873 wurden in allen wichtigen deutschen Städten Filialen dieser „Annoncen-Expedition“ eröffnet. Mosse gründete dann eine eigene Zeitung, das ab dem 1.1.1872 erscheinende „Berliner Tageblatt“. 1889 übernahm Mosse den Verlag „Berliner Morgenpost“, 1904 die „Berliner Volkszeitung“ und dann das „8-Uhr-Abendblatt“. Im Jahre 1898 gab er erstmals das „Reichsadressbuch“ heraus. Mosse gehörte neben August Scherl und Leopold Ullstein zu den bedeutendsten Zeitungsverlegern Berlins. Nach dem Ersten Weltkrieg hatte das Haus Rudolf Mosse Filialen in der ganzen Welt. Mosse wohnte (1892) Bendlerstraße 7; seine Druckerei befand sich am Leipziger Platz 15. Er erhielt ein Ehrengrab auf dem Jüdischen Friedhof in Weißensee.