Herzog Berthold I. von Kärnten, einer der mächtigsten Männer in Schwaben, ließ Mitte des 11. Jahrhunderts die Limburg erbauen. Während des Investiturstreits gehörte er der papstfreundlichen Fürstenopposition gegen Kaiser Heinrich IV. an, welche 1077 den Herzog Rudolf von Schwaben zum Gegenkönig wählte. Daraufhin wurde Bertold bei einem Hoftag in Ulm zum Hochverräter erklärt und seiner Ämter und Besitzungen enthoben. Die Folge waren verheerende Rachefeldzüge König Heinrichs IV. und seiner Anhänger, bei denen auch Bertolds Hauskloster in Weilheim zerstört wurde. Auf der Festung Limburg Zuflucht suchend, musste Berthold die Zerstörung seiner Besitzungen ohnmächtig mit ansehen. Dadurch soll er in den Wahnsinn getrieben worden sein und starb 1078 wenige Tage nach den Zerstörungen auf seiner Burg Limburg.
Noch vor 1100 verlegten die Bertolde ihren Herrschaftsschwerpunkt in den Breisgau und nach Burgund, wo sie vorhandene Besitzungen ihrer Familie durch das reiche, angeheiratete Erbe der Rheinfeldener beträchtlich vergrößern konnten und neben Staufern und Welfen zu einer der mächtigsten Familien des Reiches aufstiegen. Von da an nannten sie sich nach ihrer Burg Zähringen bei Freiburg. Die Limburg blieb zunächst ein Nebensitz der Familie, zumal das Erbe der Grafen von Nellenburg um 1100 an die Zähringer gelangte – dazu zählte die Burg Teck mit Kirchheim. Markgraf Hermann I. saß auf der Limburg und benannte sich nach ihr, bevor er vom zweiten Jahrzehnt des 12. Jahrhunderts an seinen Namen nach seiner neuen Burg Baden wählte und als Ahnherr der Markgrafen von Baden gelten kann.
Schließlich scheinen im 12. Jahrhundert auf der Limburg nur noch zähringische Ministerialen gesessen zu sein. Die reichen Schenkungen der Zähringer an ihr Hauskloster St. Peter auf dem Schwarzwald, die Verlagerung ihrer Herrschaft in den Schwarzwald, den Breisgau und nach Burgund ließen die Bedeutung der Burg schwinden. Die Herrschaftsrechte der Zähringer im Albvorland gelangten – vielleicht durch eine Erbteilung – noch im 12. Jahrhundert an die zähringische Seitenlinie der Herzöge von Teck und an die Grafen von Aichelberg. Letztere erhielten auch Weilheim, das sie mit Stadtrechten ausstatteten. Große Teile der einst zähringischen Güter in der Gegend erhielt das Kloster St. Peter, vielfach blieben diese bis 1806 im Besitz dieses Klosters.
Für die Limburg bleibt es jedoch unklar, auf welchem Weg und ob sie an Kloster St. Peter geschenkt wurde. Wahrscheinlich ist es allemal, denn jedenfalls errichtete das Kloster anstelle oder in der Burg eine Michaelskapelle, die aber bis 1578 wieder abgerissen worden war. Zu einem unbekannten Zeitpunkt, wahrscheinlich bereits vor der Mitte des 15. Jahrhunderts, gelangte die Stadt Weilheim in den Besitz der Limburg, sie ist noch heute Eigentümerin.
Mehr als fünf Jahrhunderte sind seit diesem Besitzwechsel vergangen, der Bedarf an Baumaterial und die exponierte Lage des Berges ließen die ehemalige Herzogsburg bis auf geringe Reste verschwinden.
