Im Jahre 1214 erfolgte die Gründung einer Niederlassung des Templerordens durch Albert von Turt an einem Ort, der ab 1190 den Beinamen Droyßig führte.
Ihren Ursprung hat die Burg in einer durch Kreuzritter erbauten mittelalterlichen Burganlage Anfang des 13. Jahrhunderts zur Sicherung eines wichtigen Straßenkreuzungspunktes. Das Fachwissen zum Burgenbau brachten die Kreuzritter aus dem Orient mit und bauten unter Führung eines Baumeisters, der Kenntnisse zu modernen Befestigungsanlagen besaß, eine Burg. Ursprünglich bestand die Anlage aus einem doppelten Mauerring, der von einem Graben umgeben war. Verstärkt wurde die Außenmauer durch sechs Halbrundtürme. Noch 1605 stand in der Mitte ein starker runder Turm. Von Osten her führte der Zugang zwischen zwei Türmen über eine Zugbrücke in den Hof. Nach und nach verlor die Burg mit der Erfindung und Entwicklung der Feuerwaffen ihre Bedeutung als Verteidigungsbauwerk.
Unter Christian Julius von Hoym erfolgte Anfang des 17. Jahrhunderts der grundlegende Umbau der Burg zum Schloss. Dabei ließ er die neuen Gebäude im wesentlichen auf die mächtigen Mauern der Burg setzen. Nach Abbruch eines Teils der Befestigungsanlage wurde die Schlosskirche 1622 über den einstigen Burggraben errichtet.
Prinz Hugo von Schönburg-Waldenburg ließ in den 1870er Jahren einen Teil des Wallgrabens als Zwinger abtrennen um dort einen Wolf unterzubringen, dem aber bald ein Bär und später ein Bärenpaar folgten.
Der Zwinger ist noch immer beliebtes Ausflugsziel für Einheimische und Touristen.
