En 1276, Guillermo VII (Marqués de Monferrato) construyó un edificio fortificado incorporando la antigua Puerta Pretoriana Romana en la entrada oriental de la ciudad y formada por dos torres con una base de dieciséis lados unidos por un muro con cuatro arcos. Al cerrar la puerta fue necesario abrir un nuevo pasaje en las paredes: se construyó Porta Fibellona.
Posteriormente, entre 1317 y 1320, el primer príncipe Felipe de Saboya-Acaya comienza la construcción de un complejo apoyado contra los muros fortificados entre las dos torres y proyectado fuera de los muros romanos, hacia el Po. En la segunda década del siglo XV se hicieron nuevos cambios a la estructura, por orden del último príncipe de Acaya: Ludovico.
Una vez que se perdió la función defensiva, el edificio fue utilizado como residencia por el Royal Madame. Bajo Maria Giovanna Battista de Savoy-Nemours, Filippo Juvarra construyó la fachada barroca (Palazzo Madama) y la magnífica escalera monumental interna.
Al convertirse en la sede de la vida de la corte y el aparato burocrático del reino de Saboya, el castillo asumió el papel de centro funcional de la ciudad.