Im Jahre 1276 ließ Wilhelm VII. (Markgraf von Monferrato) ein befestigtes Gebäude errichten, indem er das östliche römische Prätorianentor am östlichen Eingang der Stadt einbaute und aus zwei Türmen mit einem Sockel von 16 Seiten bestand, die durch eine Mauer mit vier Bögen verbunden waren. Beim Schließen der Tür musste ein neuer Durchgang in den Wänden geöffnet werden: Porta Fibellona wurde deshalb gebaut. Anschließend, zwischen 1317 und 1320, beginnt Philip, der erste Prinz von Savoyen-Achaia, mit dem Bau eines Komplexes, der sich an den befestigten Mauern zwischen den beiden Türmen anlehnt und außerhalb der römischen Mauern zum Po hin vorragt. Im zweiten Jahrzehnt des 15. Jahrhunderts wurden auf Befehl des letzten Fürsten der Achaia, Ludovico, neue Änderungen an der Struktur vorgenommen.
Nachdem die Verteidigungsfunktion verloren gegangen war, wurde das Gebäude von der Royal Madame als Residenz genutzt. Unter Maria Giovanna Battista von Savoyen-Nemours errichtete Filippo Juvarra die Barockfassade (Palazzo Madama) und die prächtige interne monumentale Treppe.
Die Burg wurde zum Sitz des Hoflebens und zum bürokratischen Apparat des Königreichs Savoyen und übernahm die Rolle des funktionellen Zentrums der Stadt.