В 1276 году Уильяму VII (маркизу Монферрато) было построено укрепленное здание, включающее древние римские преторианские ворота у восточного въезда в город и образованное двумя башнями с основанием из шестнадцати сторон, соединенных стеной с четырьмя арками. Закрыв дверь, нужно было открыть новый проход в стенах: поэтому была построена Порта Фибеллона. Впоследствии, между 1317 и 1320 годами, первый принц Савойской-Филипской Филипп начинает строительство комплекса, прислоненного к укрепленным стенам между двумя башнями и спроецированного за пределы римских стен, к По. во втором десятилетии пятнадцатого века в структуру были внесены новые изменения по приказу последнего князя Ахайи: Людовико.
Как только защитная функция была потеряна, здание использовалось в качестве резиденции королевской мадам. Под руководством Марии Джованны Батисты из Савойи-Немур Филиппо Юварра построил фасад в стиле барокко (Палаццо Мадам) и великолепную внутреннюю монументальную лестницу.
Став центром придворной жизни и бюрократического аппарата королевства Савойя, замок взял на себя роль функционального центра города.