Er wuchs als eines von acht Kindern des Rabbiners Wilhelm Klemperer in bescheidenen Verhältnissen auf. Die Familie zog nach Berlin, wo Klemperer sowohl das Französische als auch das Friedrich-Werdersche Gymnasium besuchte. 1896 begann er eine Kaufmannslehre bei der Kurz- und Galanteriewaren Exportfirma Löwenstein und Hecht in Berlin, die er jedoch aus Desinteresse abbrach. Nach dem Abitur 1900 am Landsberger Gymnasium studierte er von 1902 bis 1905 Philosophie sowie romanische und germanische Philologie in Paris, Genf, München und Berlin. Klemperer habilitierte sich 1915 in München mit einer Arbeit über Montesquieu. Während des Ersten Weltkrieges meldete er sich freiwillig zum Heer. Von 1920 bis 1934 lehrte Klemperer als Professor für Romanistik an der TH Dresden, wurde dann aber von den Nationalsozialisten entlassen. Für ihn, der in „privilegierter“ Ehe mit der Pianistin Eva, geb. Schirmer, lebte, begann eine Zeit der Demütigungen und des Überlebenskampfes in Deutschland. Über diese Jahre schrieb Klemperer in seinen Tagebüchern („Ich will Zeugnis ablegen bis zum letzten. Tagebücher 1933-1945“, 2 Bde., 1995). Es ist eines der wahrhaftigsten Zeugnisse über das lebensbedrohte Dasein jüdischer Menschen im faschistischen Deutschland. 1947 erhielt Klemperer eine Professur für Romanistik an der Universität Greifswald. Ab 1948 lehrte er in Halle, und ab 1951 wirkte er an der Universität in Berlin. Zu seiner wohl bekanntesten Publikation wurde „LTI. Notizbuch eines Philologen“, die erstmals 1947 in Berlin erschien (LTI = Lingua Tertii Imperii, Sprache des Dritten Reiches). Während der Diktatur hatte der Sprachwissenschaftler Klemperer minutiös die faschistischen Veröffentlichungen des Alltags untersucht und die Sprache der Diktatoren entlarvt.