Der Ort wurde als Angerdorf im 13. Jahrhundert gegründet und urkundlich 1275 bzw. 1354 als Marggrevendorp (Marggraffendorpe) erwähnt, was auf eine markgräfliche Gründung schließen lässt. Später wurde es Smarggrapendorff, Smarckendorff, Schmarchendorf und seit 1775 Schmargendorf genannt. Im 16. Jahrhundert kam es an die Familie von Wilmersdorff (Wilmersdorff, derer von) (Wilmerstorp), die es bis Ende des 18. Jahrhunderts besaß. Im 19. Jahrhundert gehörte es u. a. der Familie von Beyme, dann dem preußischen Domänenfiskus. Schmargendorf gehörte zum brandenburgischen Landkreis Teltow und zählte 1880 lediglich 468 Einwohner. Obwohl in der Nähe von Berlin liegend, blieb es Jahrhunderte lang ein Bauerndorf. Sein Aufschwung begann erst ab 1883 mit der Eröffnung der Ringbahnstation "Schmargendorf" (heute S-Bahnhof Hohenzollerndamm). Gegen Ende des 19. Jahrhunderts siedelten sich aufgrund der Nähe zum Grunewald (Forst Grunewald) zahlreiche Ausflugslokale an. In den 1890er Jahren veräußerten die meisten Schmargendorfer Bauern ihre Ländereien an die "Handelsgesellschaft für Grundbesitz", die dem Bankier Carl Fürstenberg gehörte. Noch heute befinden sich einige vor dem Ersten Weltkrieg gebaute Wohnanlagen im Besitz dieser Gesellschaft (Wohnanlage Franzensbader Straße). Erst nach dem Ersten Weltkrieg wurde das frühere Bauernland großflächig bebaut. Es entstanden zahlreiche Wohnanlagen wie z. B. die Reichsbank-Siedlung am Kissinger Platz, die Wohnanlage Kirchstraße, die Wohnanlage Borkumer Straße usw. Der Verkauf großer Teile des Bauernlandes zum Bau der Prachtstraße Hohenzollerndamm und die vermehrten Einnahmen aus der Umsatz- und Gewerbesteuer aufgrund der Errichtung des Berliner Städtischen Gaswerks V auf der Schmargendorfer Gemarkung (1893) hatten bereits 1902 den aufwendigen Bau des Rathauses Schmargendorf im Stil der Backsteingotik ermöglicht. Mit der 1920 gebildeten Einheitsgemeinde Berlin entstand aus der Stadt Wilmersdorf, den Landgemeinden Schmargendorf und Grunewald sowie dem Forst Grunewald der Verwaltungsbezirk Wilmersdorf. Am südlichen Ende des Hohenzollerndamms entwickelte sich in den 1920er Jahren mit dem Roseneck ein neues Ortszentrum. Die Kreuzkirche wurde 1929 am Hohenzollerndamm fertig gestellt. In den letzten Apriltagen 1945 kam es entlang dem Hohenzollerndamm zu schweren Kämpfen. Aus den Trümmern der während des Zweiten Weltkrieges zerstörten Häuser wurde auf dem Gelände der ehemaligen Gasanstalt 1948 bis 1951 ein Sportzentrum (Stadion Wilmersdorf) errichtet. Mit dem Gebäudekomplex der Reemtsma-GmbH entstand 1959 in der Mecklenburgischen Straße die einzige größere Industrieanlage im heutigen Bezirk Charlottenburg-Wilmersdorf. Insgesamt bietet Schmargendorf bis heute mit seinen zahlreichen begrünten Wohnanlagen, den Kleingartenkolonien und dem Berkaer Platz im Zentrum ein eher kleinstädtisches Erscheinungsbild.