亨利二世國王去世後不久，王後凱瑟琳·德·美第奇命令國王的情人戴安娜·德·普瓦捷搬出國王給情人專用的神農索堡， 讓她搬進肖蒙城堡。神農索城堡本應為不得轉讓的產業，因為它是國王賜予的禮物，屬於王國。 凱瑟琳拿肖蒙城堡作交換給了戴安娜。
盧瓦爾河畔肖蒙城堡建於公元1000年前後。當時，布盧瓦伯爵厄德一世在山上修建了一座俯瞰河流的要塞，用來守衛他的領地與安茹伯爵領地交界的地區。
1054年，城堡由昂布瓦茲的敘爾皮斯一世接手，以後的500年間由昂布瓦茲家族代代相傳。
1550年，肖蒙城堡在當時被視為收益最豐的城堡之一，凱瑟琳·德·美第奇王後買下了城堡， 用來接待諾查丹瑪斯和路吉艾里等占星家和皇室的客人。
亨利二世國王去世後不久，凱瑟琳·德·美第奇命令國王的情人戴安娜·德·普瓦捷搬出國王給情人專用的神農索堡， 讓她搬進肖蒙城堡。神農索城堡本應為不得轉讓的產業，因為它是國王賜予的禮物，屬於王國。 凱瑟琳拿肖蒙城堡作交換給了戴安娜。
亨利二世還在當王子的時候就喜歡上了戴安娜·德·普瓦捷。1499年底，戴安娜出生於普瓦圖，她的父親是聖瓦利埃的領主，也是阿基坦老公爵“游吟詩人”威廉的後代，她的母親擁有布隆尼省的領地，和意大利的美第奇家族有些遠親關係。
戴安娜十分漂亮，當亨利二世還是王子的時候就愛上了她，那時她已經36歲，可是保養得很好，顯得很年輕。
亨利二世對戴安娜很寵愛， 他把神農索城堡送給了戴安娜，而神農索城堡卻是凱瑟琳王後想要的。
對於丈夫的外遇，凱瑟琳不但沒有反對，還對丈夫的情婦很友好，把戴安娜當姐姐相待。凱瑟琳是妻子，戴安娜是情婦，情婦戴安娜比妻子凱瑟琳大22歲 。
亨利王子當了國王，成為亨利二世後，他還是鍾情愛着年長的情婦戴安娜，凱瑟琳作為王後，也善待情敵戴安娜。看到妻子和情婦關係融洽，亨利二世自然很高興。
1559年，亨利二世在女兒的婚禮上和年輕的蒙哥馬利伯爵加布里埃爾比賽長矛，被刺中臉部而喪生。他和凱瑟琳王後的長子弗朗索瓦王子繼承了王位，即為弗朗索瓦二世。
凱瑟琳王後沒有難為戴安娜，只是把她趕出宮廷，收回了神農索城堡 。昔日亨利二世的寵妃只得居住在肖蒙，但她對自己的新宅並不滿意，於是一直在修整城堡，直到1566年去世。肖蒙城堡現在的基本樣貌就是在那時形成的。之後她的女兒成為城堡的主人，1573年時她曾想為城堡建一個公園。但是第二年她就去世了，這一計畫也不了了之。
對戴安娜的美麗後人一直有很多傳說。法國專家於2008年挖出了戴安娜的遺骨，發現她的頭髮含有很高的黃金成分。
考古學家對遺骨進行分析後驚奇地發現：戴安娜因喝太多的黃金液而中毒身亡。據說，當時法國宮廷貴族婦女把黃金液當成保持年輕貌美的駐顏聖藥。
根據發表在英國《醫學》雜誌上的研究報告顯示，戴安娜為永保青春，常喝養顏黃金液。不幸的是，這種養顏液最終害死了她。
據說，在當時的法國宮廷，黃金液被認為有保持年輕和治療疾病的功效。鍊金術士經常充當藥劑師把氯化金和乙醚製成的藥品當成治病良方。
戴安娜不用化妝都顯得面容白皙，看上去像30歲，而她當時實際上她已經60歲了。她比亨利二世年長20歲，不可思議的是，看起來比亨利二世還年輕。戴安娜很愛運動，但據說她的頭髮很稀疏，骨骼也很脆弱，這是常見的黃金慢性中毒癥狀。 她於1566年在肖蒙城堡里去世，享年66歲。