Im Rahmen der Säkularisation des Klosters Zwiefalten 1803 fiel Schloss Ehrenfels dem württembergischen Herzog Friedrich II. zu. Dieser schenkte die Anlage mit Wimsen im selben Jahr seinem württembergischen Staatsminister Philipp Christian Friedrich Freiherr von Normann (1756-1838) als Würdigung seiner Leistungen bei den Verhandlungen mit Napoleon und den Franzosen. Ihm gelang es nämlich, in diesen Verhandlungen Gebietszugewinne zu erreichen und die Fläche Württembergs zu verdoppeln. Außerdem verhalf er Friedrich zur Königswürde und wurde selbst mit dem Namen Normann-Ehrenfels in den Grafenstand erhoben. In Folge dieser Schenkung und Erhebung verwendete Normann die Residenz als Adelssitz. Dazu wurde der Altar entfernt, eine Freitreppe hin zum Barockpark gebaut und die Wohnräume der Mönche mit Wappen und Holztafeln geschmückt. Bis 2015 war das Schloss im Besitz von dessen Urenkel Roland Freiherr von Saint-André.
Heute hat die „Schloss Ehrenfels Saint-André Stiftung“ ihren Sitz auf Schloss Ehrenfels. Sie dient dem Zwecke der Förderung von Kunst, Kultur und historischer Geschichte sowie dem Denkschmalschutz und der Denkmalpflege. Alleinige Vorsitzende ist die Tochter und Erbin Rolands Freiherr von Saint-André, Nicoletta Freifrau von Saint-André. Schloss Ehrenfels wird zudem für verschiedene Veranstaltungen genutzt und kann nach Vereinbarung besichtigt werden.
