Das Schloss erlebte eine wesentliche künstlerische Gestaltung in der Zeit der Klinkowströms. Sein Sohn, ausgebildeter Maler, stand in Verbindung mit Runge und C. D. Friedrich. Dem Sohn werden etliche Malereien an Tapeten, Decken, Balken und Wänden zugeschrieben.
Klinkowström geriet in finanzielle Schwierigkeiten und verkaufte Ludwigsburg, Loissin und Freesendorf an den angesehenen Greifswalder Kaufmann Johann Philipp Hermann Weissenborn im Jahre 1810.
1815 kam schwedisch Vorpommern an Preußen. Mit den Weissenborns begann eine Zeit des Aufbaus und der Entwicklung des Anwesens zu einem angesehenem Gutshof. Das Schloss und Gut blieben bis 1945 in Familienbesitz der Weissenborns. Die Weissenborns waren ständig bemüht, den wertvollen Besitz zu erhalten und zu pflegen. Als Vermächtnis wurde dieser Gedanke von Generation zu Generation weitergegeben. Das Kriegsende und die nachfolgende Bodenreform brachten 1945 für Schloss Ludwigsburg ein jähes Ende.
Ab 1945 bewohnten Flüchtlinge und Siedler das Schloss. 1978 zogen die letzten Bewohner aus; nur im Erdgeschoß wurde die Küche und Nebengelaß als LPG-Küche genutzt.
Nach der Wiedervereinigung Deutschlands 1990 konnte das Schloss und 2 Nebengebäude von dem Nachkommen der Familie Weissenborn, dem Sohn Richard, der inzwischen verstorben ist, zurückerworben werden.
Die zwei Söhne, die heute Vereinsmitglieder sind, wünschen im Sinne der Familie eine ständige gemeinnützige Nutzung der Anlage. Sie selbst haben keine Ambitionen im Schloss zu leben.
Heute ist Schloss Ludwigsburg nicht nur das letzte, fast originalgetreu erhaltene Zeugnis Pommern-Wolgaster Herzogsgeschichte, sondern wird auch durch die Begegnung der 3 berühmten pommerschen Romantiker Friedrich, Runge, Klinkowström geprägt. Die Erhaltung und Nutzung dieser Anlage steht als einmaliges historisches und kunstgeschichliches Zeugnis pommerscher Geschichte außer Frage und hat oberste Priorität.