Es war ursprünglich ein spätgotischer Bau mit barockem Seitenflügel aus dem 16./18. Jahrhundert. Es brannte am 5. Februar 1917 völlig nieder und wurde in recht schlichter Form 1921/22 wieder aufgebaut. Heute ist es ein Kinderheim.
Der ehemalige Barockgarten wurde 1845 nach Plänen von Peter Josef Lennè in einen Landschaftspark umgewandelt. Hier befindet sich noch heute das Erbbegräbnis der Familie von Buch.
Die Edlen von Buch standen in hohen preußischen Staatsdiensten. Adolf Friedrich von Buch wirkte als Gesandter am kursächsischen Hof in Dresden. Sein ältester Sohn, Georg Carl Vollrath, war Kämmerer bei Königin Luise und später Oberzeremonienmeister und Präsident der Generalordenskommission Friedrich Wilhelm III.
Der jüngere, in Stolpe geborene Sohn, Christian Leopold von Buch (1774 -1853) schlug jedoch völlig aus der Art: sein Ruhm lag in der Wissenschaft begründet. Er war ordentliches Mitglied der Königlichen Akademie der Wissenschaften zu Berlin. Als Geologe und Begründer der Theorie des Vulkanismus besitzt er noch heute einen Ehrenplatz unter den deutschen Naturwissenschaftlern. Er studierte im sächsischen Freiberg und befreundete sich dort mit Alexander von Humboldt. Die geognostischen Erkenntnisse sammelte er auf Reisen, besonders auf Fußmärschen, so im Erzgebirge, am Kraterrand des Vesuvs, in Norwegen oder in der Einöde der finnischen Tundra. Sein Reisebericht über Norwegen wurde zur damaligen Zeit von vielen wie ein Roman gelesen und in Frankreich verlegt. Des weiteren erlangte er durch die Herausgabe einer geologischen Karte von Deutschland Berühmtheit. Für Brandenburg war besonders seine Erkenntnis bedeutsam, dass die zahleichen Findlinge mit den Gesteinen im skandinavischen Raum übereinstimmen.
Christian Leopold von Buch wurde auf dem Friedhof der Familie inmitten des Schlossparks beigesetzt. Alexander von Humboldt ehrte ihn in seinem Nachruf in besonderer Weise: "Er war ein durchaus edler, hilfreicher, gefühlvoller Mensch, der, was er mühsam gesammelt und erforscht, auch rückhaltlos den gelehrten Freunden mitgeteilt hat... Er ließ eine leuchtende Spur zurück, wohin er nur ging."