Die Straße erhielt ihren Namen nach den verfolgten französischen Reformierten (Hugenotten), die hier Aufnahme und Wohnungen fanden. Der Kampf der Hugenotten um Anerkennung ihres Glaubens sowie der bürgerlichen und politischen Rechte einerseits und andererseits das Bemühen des französischen Königs, sie zu unterdrücken, führten zu blutigen konfessionellen Bürgerkriegen, den Hugenottenkriegen. Wegen starker Repressionen wanderten über 200 000 Hugenotten aus. Bedeutung erlangten die Hugenotten in Brandenburg-Preußen, wo Friedrich Wilhelm, der Große Kurfürst, ihre Aufnahme und Ansiedlung durch das Edikt von Potsdam (8.11.1685) förderte. Um 1700 war jeder dritte Einwohner Berlins ein Hugenotte. Sie brachten bedeutende Leistungen in Wirtschaft, Kunst und Wissenschaft sowie als Offiziere hervor. Kirchlich führten die Hugenotten ein streng geordnetes Leben; sie widmeten sich in der Theologie vor allem der Erforschung des Alten und des Neuen Testaments sowie der Kirchengeschichte. Die Straße wurde um 1696 angelegt und erhielt 1706 ihren heutigen Namen. Um 1740 erhielten die anschließenden Straßen ebenfalls diesen Namen. Das betraf die Straße Beim Französischen Kirchhof, die zwischen Charlotten- und Markgrafenstraße verlief, und die Straße Nach dem Französischen Kirchhof, die sich zwischen Markgrafen- und Oberwallstraße befand. Im Osten wurde die Straße durch ein 1725 in der Oberwallstraße 4 erbautes Haus abgeschlossen, in dem sich ab 1849 die Erste Kammer des Preußischen Herrenhauses befand. Am 10.3.1851 brannte ein Teil dieses Gebäudes ab. Man entschloss sich, die Französische Straße bis zur Oberwallstraße durchzulegen, was bis 1858 erfolgte.

Die Verlängerung von Mauerstraße bis zur Hannah-Ahrendt-Straße/Wilhelmstraße wurde zum 30.10.2009 vollzogen.