Gleim besuchte die Stadtschule in Wernigerode und begann 1738 ein Jura- und Philosophiestudium in Halle. 1740 war er als Hauslehrer in Potsdam tätig. Als Sekretär des Prinzen Wilhelm Heinrich von Brandenburg-Schwedt nahm Gleim am zweiten Schlesischen Krieg teil. In Berlin fand Gleim einen Kreis gleichgesinnter Dichter und Philosophen. 1747 wurde Gleim Sekretär des Domkapitels in Halberstadt. 1756 erhielt er das Kanonikat des Stifts Walbeck bei Helmstedt. Von nun an konnte er finanziell gesichert seinen Traum vom Leben als Dichter und Förderer der Kunst realisieren. Im Jahre 1756 erschien sein erstes Buch mit Fabeln. Der als Papa Gleim verehrte Dichter veröffentlichte in der Folgezeit viele Lieder und Gedichtsammlungen und war als literarischer Vermittler tätig. In seiner Berliner Zeit wohnte er bis 1746 in der Spandauer Straße 68.