Der Ort Rübgarten ist erstmals 1356 in den Quellen erwähnt. Bereits zu dieser Zeit scheint er größer gewesen zu sein als die Siedlung Wildenau, die in direkter Nachbarschaft zur Burg Wildenau, dem Stammsitz derer von von Wildenau lag. Eventuell sind die Wildenauer nach der Zerstörung der Burg (vermutlich im Jahr 1406) in den Ort Rübgarten übergesiedelt, einen ersten Nachweis gibt es jedoch erst für 1516 mit dem Junker Wendel. In der Folgezeit häufen sich die Hinweise auf einen Wildenauer Sitz in Rübgarten. Die Familie wohnte vermutlich im Bebenhäuser Lehenshof direkt neben der Kapelle. 1565 ist die Sprache von zwei „Höfen“ der Wildenauer, einer davon muss besagter Lehenshof gewesen sein.
Im Dreißigjährigen Krieg starb der männliche Zweig der Familie aus bzw. galt als verschollen. Einige Jahre lebte Maria Sophia von Wildenau, Tochter und Schwester der beiden letzten männlichen Wildenauer, allein auf dem Lehen. Sie ehelichte den Hauptmann Nicola d’Argent, einen Franzosen aus dem Kaiserlichen Heer. 1639 erhielt dieser die Erlaubnis das Lehen solange zu verwalten, bis sein Schwager aus dem Krieg zurückkehre. Bereits 1640 forderte der württembergische Herzog Beweise, dass Christoph von Wildenau noch am Leben sei. 1643 belehnt er den Grafen von Candel auf dessen Bitte mit Rübenau. Allerdings weigert sich d’Argent dies anzuerkennen, sodass eine langjährige gerichtliche und teils gewalttätige Auseinandersetzung folgte. Graf Carl Philibert von Candel bzw. sein Verwalter Steudlin nahmen erste Ausbesserungsarbeiten am Haus vor. Nach dem Tod des Vaters verkauft der junge Graf Carl Eberhard von Candel das Lehen an das Haus von Württemberg, welche es an die Jäger von Gärtringen (1678-1708) vergab. Diese betrieben jedoch Misswirtschaft. 1681 war die Familie so hoch verschuldet, dass Levin von Kniestedt für drei Jahre das Lehen übernahm, um die Schulden herauszuwirtschaften. 1705 geht das Lehen endgültig in den Besitz des Levin von Kniestedts über.
Das Adelsgeschlecht von Kniestedt stammt ursprünglich aus der Nähe von Hildesheim, mehrere Nebenlinien sind in Norddeutschland bekannt. Levin von Kniestedt war seit 1670 in württembergischen Dienste, ab 1698 Württembergischer Rat, Oberstalllmeister und Obervogt zu Leonberg. In Rübgarten übernahm von Kniestedt „eine Behausung mit 3 Studben, so baufällig, eine neue Scheuer mit 3 Tennen und 1 Hofraiten, Baum- und Kuchengarten […] Ein Mayereihaus mit Wohnung des Mayers, mit Scheune und Stall, in schlechtem Zustand […] Neu erbaute Weinkelter (nach dem Brand der alten) in der Tellerhecke“. Als ersten Schritt ließ er eine Mauer um das Herrschaftsgelände errichten, baute Ställe und Scheunen aus und errichtete weitere neue. Des Weiteren ließ er einen Brunnen graben, Bäume und Pflanzen setzen sowie das Mayereihaus richten. Aufgrund des französischen Einfalls von 1707 verschob sich der angedachte Neubau des Wohnhauses um drei Jahre. 1709 berichtete er, dass er „[d]as Haus (= die Wohnung der Lehensherrschaft) […] von Grund aufbauen [müsse].“ Die Errichtung des Schlosses in Fachwerkstil war 1710 vollendet. Heute befindet das Schloss sich in Privatbesitz.