Im Jahr 1940 malte Karl Fitzner das Schloss, das fünf Jahre später nicht mehr existierte. Die Frage, wer für den Brand verantwortlich war, der nicht nur das Schloss selbst, sondern auch die Sammlungen des dort untergebrachten Landesmuseums vernichtete, ist bis heute nicht geklärt.
Nach dem Umbau in den Jahren 1905-1909 mit dem Anbau von Flügeln und einem Turm nach dem Vorbild von Charlottenburg in Berlin wurde das Schloss zu einem attraktiven Motiv für Künstler aller Art.
Eines der beliebtesten Motive war der Blick vom alten Tiergarteneingang, das Hirschtor - 2 Hirschfiguren aus Bronze auf Granitsockeln.
