Er besuchte in Lichtenberg die Volkschule, erlernte anschließend das Schlosserhandwerk und besuchte die Fachschule, die er als Konstrukteur für Waffentechnik abschloss. 1929 wurde er wegen seiner politischen Auffassungen und Aktivitäten – er hatte über die Produktion von Waffen Nachrichten weitergegeben – zu drei Jahren Gefängnis verurteilt, die er in der Strafanstalt Cottbus verbüßte. Am 27.3.1932 wurde er entlassen und war jahrelang arbeitslos. Große schloss sich dem Arbeitersportverein "Fichte" an und lernte dort auch seine Verlobte, Martha von Ceminsky (*1905) kennen. Mit anderen kämpfte er ab 1933 illegal gegen den Faschismus. Am 29.4.1934 wurde Große bei einer Flugzettelaktion beobachtet, denunziert und festgenommen. Das Berliner Kammergericht verurteilte ihn am 15.10.1934 zu drei Jahren Zuchthaus. Nach Verbüßung dieser Strafe überführte ihn die Gestapo im Frühjahr 1937 in das Konzentrationslager Sachsenhausen, wo er mit Gleichgesinnten weiterhin im antifaschistischen Sinne wirksam war. Die SS des Konzentrationslagers entdeckte einen Teil der illegal kämpfenden Gefangenen und überführte sie mit dem Vermerk "Rückkehr unerwünscht" in das Konzentrationslager Flossenbürg in die Oberpfalz. Trotz der dort sofort einsetzenden Solidarität der Mithäftlinge für Rudolf Große und andere politische Gefangene konnte sein Leben nicht gerettet werden. Ein SS-Mann ermordete ihn am 9.12.1945 in einem der Steinbrüche des Konzentrationslagers.