L'histoire du site commence autour de l'an mille, lorsqu'une forteresse est fondée par les seigneurs de Varambon. L'un d'eux, devenu évêque puis cardinal en 1440, reste attaché au site sous le nom de cardinal de Varambon. Après sa mort en 1451, la forteresse est détruite.

Le bâtiment qui lui succède disparaît en 1595, lorsque les troupes françaises prennent ces terres au duc de Savoie. Leur rattachement à la France est confirmé en 1601. Érigée en marquisat et passée entre plusieurs mains, la seigneurie voit ensuite s'élever un nouveau logis vers 1756. 

La demeure actuelle serait la quatrième construite sur le site. En 1855, l'archéologue lyonnais Alphonse de Boissieu en devient propriétaire et entreprend sa transformation. 

Sa famille y vit toujours.