Au XVIe siècle, le donjon de Moret-sur-Loing redevient un lieu de résidence. Maximilien de Béthune-Sully, ministre d’Henri IV, joue alors un rôle considérable en effectuant d’importants travaux de remise en état. Il fait du donjon un bâtiment plus agréable à vivre : en aménageant par exemple des jardins en terrasse.
Le donjon passe ensuite entre de nombreuses mains. Il est même un moment la prison de Nicolas Fouquet, avant d’être victime d’un incendie dévastateur en 1803. Il faut attendre 1879 pour qu’il connaisse un véritable renouveau : Joanne Thirion, fils d’un riche industriel, décide de l’acheter. Ce collectionneur d’objets d’art fait appel à l’architecte Pierre-Félix Julien (1840-1914) ainsi qu’à plusieurs artistes et décorateurs. Il métamorphose l’édifice en ruines en une belle et confortable demeure. Des éléments d’architecture anciens sont récupérés à cette fin, notamment une imposante rose d’église originaire de l’église paroissiale Notre-Dame de Meulan (Yvelines).