Die Herren von Hadersdorf wurden um 1130 erstmals urkundlich erwähnt; um diese Zeit existierte wahrscheinlich eine Wehranlage an der Stelle des heutigen Schlosses. In den darauffolgenden Jahrhunderten wechselte die Herrschaft mehrmals den Besitzer, bis das Schloss 1358 an den Landesfürsten kam, der es dem jeweiligen Forstmeister als Wohnsitz zuwies. Das Schloss ist nicht öffentlich zugänglich, lediglich Teile der Toranlage zur Mauerbachstraße hin dienen als Restaurant.