Pada mulanya terdapat sebuah kastel yang terletak di puncak bukit tinggi di Felsőtárkány di dekat Eger. Kastel ini hancur akibat serangan bangsa Mongol pada tahun 1241, sehingga Uskup Eger memutuskan untuk mendirikan kastil baru di puncak sebuah bukit berbatu di dekat kota Eger. Pada tahun 1552, pasukan Utsmaniyah yang berjumlah 35.000-40.000 menyerang kastel ini yang hanya dijaga oleh sekitar 2.100-2.300 pasukan. Pengepungan tersebut gagal dan korban jiwa yang jatuh di pihak Utsmaniyah besar. Setelah itu pasukan Utsmaniyah mengepung kastel ini lagi pada tahun 1596 dan kali ini berhasil memenangkan pertempurannya. Pada tahun 1701, pasukan Austria meledakkan setengah dari kastel ini (bagian Külső vár).