Die Burg Milotitz wurde 1341 erstmals urkundlich erwähnt. In ihrer Umgebung entstand die gleichnamige Siedlung. 1412 erwarb Johann von Landstein und Morawan (z Moravan)[2] Milotitz und verkaufte den mütterlichen Familienbesitz Morawan seinem Stiefbruder Protivec von Zástřizl. Johanns Sohn Smil von Landstein und Morawan († 1438) war einer der bedeutendsten mährischen Heerführer. Der Katholik wechselte 1430 auf die Seite der Hussiten und begab sich später in ungarische Dienste. In Milotitz bestand im 16. Jahrhundert auch ein hutterischerBruderhof[3].
In der zweiten Hälfte des 17. Jahrhunderts wurde die Burganlage umgebaut und erhielt in der ersten Hälfte des 18. Jahrhunderts ihre heutige barocke Gestalt. Damals befand sich das Schloss im Besitz der Grafen Serényi. 1848 starb der Grundherr Franz von Hardegg unter mysteriösen Umständen in Wien. Zu dieser Zeit umfasste die Herrschaft die Orte Milotice, Vacenovice, Skoronice, Vlkoš, Čeložnice, Nětčice, Svatobořice, Mistřín, Sobůlky und Stavěšice.