Apparaissant sous l’appellation de « port de Bondifer » sur certains documents anciens, le port de Bou constitue dès le XVI siècle un véritable domaine composé de quatre bâtiments, une bâtisse principale, une métairie, une étable et une écurie. Aujourd’hui, trois de ces maisons subsistent, la quatrième ayant été détruite lors d’une crue.

En 1566, le domaine du Port de Bou est acquis par un personnage singulier, Geoffroy VALLEE, sieur de la Planchette, seigneur de plusieurs fiefs dans la région d’Orléans. Auteur d’un ouvrage de seize pages remettant en question le bien-fondé de la religion, il sera jugé par le parlement de Paris puis brûlé avec son ouvrage en place de Grève en 1574. On ne connaît plus à ce jour qu’un seul exemplaire du livre intitulé La Béatitude du Chrétiens ou le fléau de la Foy, il est conservé à la bibliothèque Méjanes-Allumettes d’Aix en Provence. L’association boumienne Lerre Geru en a fait une réédition en 2006 consultable à la bibliothèque François Mitterrand de Bou.

Après la mort de Geoffroy VALLEE, le domaine du Port est confisqué par Henri III puis restitué à Guillaume Brochet, beau-frère de Geoffroy Vallée. Il est ensuite cédé à la famille de Madeleine de Beauharnais qui refusera de contribuer financièrement à la construction de la levée actuelle. Raison pour laquelle la levée principale vient s’encastrer dans la maison dite du Port et isole l’ensemble des bâtiments du reste du village. Au début du XIX siècle et jusqu’en 1844, ces bâtiments dépendaient de l’hôpital d’Orléans et servaient de léproserie.