Édifié en 1560, le manoir d'Hazeville a été profondément remanié au XIXe siècle par l'architecte de Napoléon Ier Pierre-François Fontaine, qui était originaire de Pontoise.
Ce château a été construit pour la famille Lefebvre, qui a pris par la suite le nom de ses terres de Hazeville. Le manoir originel construit en 1560 par Charles de Hazeville, est constitué, selon un acte notarié de 1714, de «deux corps de logis joignant l'un l'autre, basse-cour, écuries, bergeries, grange, remise, pressoir, colombier à pied, deux volières à pigeons et autres bâtiments ». S'y ajoutent deux jardins, dont l'un en terrasse, deux avenues d'arbres et des bois. Le colombier circulaire, probablement reconstruit à la fin du XVIIe siècle, est dressé au milieu de la cour de l’ancienne ferme, dont les terres s'étendaient à l'origine sur près de 1 000 hectares. L’escalier couvert du colombier est un rajout du XIXe siècle. Une chapelle domestique est consacrée en 1752 au sein du château, sur demande de Luc Violette, alors propriétaire du domaine.
Le château est fortement remanié au début du XIXe siècle par l'architecte Pierre-François Fontaine, qui en est le propriétaire de 1806 à 1853. Il n’en conserve que les sous-sols et élève à la place un édifice avec un toit en croupe droite éclairé par trois lucarnes, des pilastres sculptés qui rythment sept travées en façade (ceux placés aux deux extrémités des étages possèdent des chapiteaux doriques et ioniques) et une porte surmontée d'un fronton cintré.
Les façades et les toitures du bâtiment principal sont inscrites au titre des Monuments historiques en 1981.