Începând cu secolul al XIV-lea, familia Jubert a deținut domeniul de la Bizy.

În 1675, Nicolas Jubert de Bouville, consilier de stat și intendent al regiunii Orléans, a ridicat senioria de Bizy la rangul de marchizat. El a dispus construirea unui castel rezidențial.

În 1721, Ducele de Belle-Isle a achiziționat marchizatul de Bizy. Acesta era nepotul lui Nicolas Fouquet, superintendentul finanțelor sub domnia lui Ludovic al XIV-lea.

El a păstrat Château de Jubert de Bouville și s-a concentrat asupra parcului. A inițiat extinderea domeniului, a dispus construirea unei rețele hidraulice pentru alimentarea castelului cu apă și a amenajat grădinile cu fântâni și elemente acvatice.

I-a încredințat arhitectului Contant d'Ivry – considerat „cel mai bun arhitect din Europa” și autor, printre altele, al proiectului pentru scara monumentală de la Palais-Royal – sarcina de a construi clădiri care să formeze o curte interioară. Impresionantele grajduri s-au păstrat până astăzi; acestea au fost ridicate în stilul celor de la Versailles.

În 1749, Ducele de Belle-Isle – devenit mareșal în 1741 – i-a găzduit pe Ludovic al XV-lea și pe Madame de Pompadour. Neavând urmași, el a lăsat castelul prin testament regelui Ludovic al XV-lea în 1759.

Ulterior, regele a schimbat domeniul Bizy cu principatul Dombes (în departamentul Ain) cu Contele de Eu; acesta din urmă avea să-l lase moștenire, la moartea sa, vărului său Louis de Bourbon, Duce de Penthièvre – nepotul legitimat al lui Ludovic al XIV-lea și al lui Madame de Montespan, acesta in 1792, s-a stabilit definitiv la Bizy împreună cu fiica sa, Louise Marie-Adélaïde, care, în urma căsătoriei cu „Philippe-Égalité”, devenise Ducesă de Orléans.

În timpul Restaurației, Ducesa de Orléans și-a răscumpărat proprietățile, inclusiv Castelul de Bizy.

Fiul său, Louis-Philippe, regele francezilor, obișnuia să locuiască acolo frecvent și a adus diverse îmbunătățiri: a reamenajat casa lui Le Suire, a dispus construirea unor galerii vitrate pentru a închide complet curtea și a amenajat parcul în stil englezesc.

Proprietatea Casei de Orléans a fost confiscată din nou, de data aceasta de către Napoleon al III-lea, fiind ulterior scoasă la licitație și vândută de către stat.

În 1858, baronul Schikler a cumpărat domeniul Bizy. El a păstrat o parte din transformările realizate de Louis-Philippe, inclusiv galeriile curții principale, și a construit – cu ajutorul arhitectului William Henry White – corpul central, o clădire somptuoasă în stil neoclasic, care s-a păstrat până astăzi.

În 1909, baronul i-a lăsat moștenire domeniul Bizy strănepotului său, Louis Suchet, al patrulea Duce de Albufera, descendent al lui Suchet, Mareșal al Imperiului și primul Duce de Albufera.

Frații Vergé sunt actualii proprietari ai castelului. Bunicul lor a fost al cincilea Duce de Albufera.