Kastil pertama di tempat ini yang disebut Grand Châtelet dibangun oleh Raja Louis VI pada tahun 1124. Kastil ini diperluas oleh Louis IX pada dasawarsa 1230-an. Kastil ini dibakar oleh Edward sang Pangeran Hitam pada tahun 1346. Bagian tertua dari istana yang berdiri saat ini direkonstruksi oleh Raja François I pada tahun 1539 dan semenjak itu telah diperluas beberapa kali.