Im 12. Jahrhundert erteilte die Abtei Werden Mitgliedern des Geschlechts von Lüdinghausen die Verwaltung von Gütern im Umkreis Lüdinghausens, woraufhin diese mit der Errichtung von Wohnturm und Bergfried begannen.
Von da an, bis ins 17. Jahrhundert hinein, durchlebte Burg Lüdinghausen eine bewegte, kriegerische Geschichte.