Расположен в самом центре бывшей крепости на холме Капталан, на берегу реки. Построен в 1575 году, перестроен в 1783, хотя епископская резиденция существовала в Дьёре ещё в XI веке. За долгие столетия выдержал не одну осаду, множество раз достраивался.