Le château existait dès le XIIIe siècle et appartenait à Josserand de La Rivière.

 

Le fief de Villiers était rattaché à celui de Nanvignes (aujourd’hui Menou) qui dépendait de la châtellenie de Donzy.

 

En 1496, il était la propriété de la famille de Chabannes (une des plus célèbre du nivernais).

 

En 1586, Guillaume Tenon, conseiller du roi et trésorier en devint le propriétaire.

 

en 1697, la terre de Nanvigne et Menestreau fut érigée en marquisat par Louis XIV pour récompenser François Charles de Menou de Charnisay, qui s’était distingué à la bataille de Lens, près du grand Condé.

 

François Menou de Charnisay vint s’établir en Nivernais et épousa Marie de Brisson, dame de Nanvigne et veuve de Claude Choiseul, baron d’Esguilly. Cette famille de Menou, originaire du Perche et établie depuis cinq siècles en Touraine compta dans son sein plusieurs illustrations : Nicolas de Menou, valeureux compagnon de Saint Louis, commandait l’arrière-garde à la bataille de Damiette, en 1249 ; sous Charles VI, il y avait un amiral du nom de Menou, sous Charles VII, un seigneur de cette maison était ambassadeur.

 

Ce château féodal bâti le long de l’ancienne voie romaine menant d’Entrains à Autun pour en surveiller les abords, fut semble-t-il reconstruit au XVe siècle.

 

Il était entouré d’une enceinte quadrangulaire cantonnée de tours d’angle. Outre les deux tourelles de forme circulaire au toit conique, l’édifice est flanqué au sud, d’une tour en fer à cheval munie de canonnières.

 

Dans la cour intérieure, une tour polygonale abrite un escalier à vis. Les ouvertures du logis ont été remaniées mais certaines d’entre elles ont conservé leurs meneaux de pierre moulurée. La courtine sud abrite une chapelle de plan carré, éclairée par des fenêtres en tiers-point à remplages gothiques ; elle est coiffée d’un toit de petites tuiles surmonté (probablement au XVIIe siècle) d’un lanternon octogonal couvert d’ardoises.

 

Au flan nord de l’enceinte s’élève un colombier circulaire « recouvert en zinc » qui permettait aux pigeons égarés de retrouver leur demeure.