Die von Pannwitzens entstammten dem Oberlausitz-schlesischen Uradel, der 1276 erstmals urkundlich erwähnt wurde. Er war der zweite Sohn des Königlich-preußischen Oberstleutnants Friedrich Wilhelm von Pannwitz (1719-1790) und dessen Ehefrau Sophie Wilhelmine Albertine, geborene von Viereck (1731-1772). Der Landrat Albrecht Wilhelm von Pannwitz war Herr auf Trebnitz, Wulkow, Hermsdorf, Schönfließ, Stolpe, Letschin und Glienicke. Letzteres verkaufte er 1815. Er war Königlich-preußischer Landrat des Kreises Niederbarnim. Bereits 1786 erwarb er das Kruggut Dalldorf, das dann an den Amtsrat Gustav Adolph Seidel (1803–1884) überging. 1801 wohnte Pannwitz, der auch Domherr von Merseburg war, in Berlin Wilhelmplatz 3 (heute Wilhelmstraße).