Beroemd om zijn schoonheid, de charme van zijn tuinen en zijn kunstverzamelingen, werd het paleis in 1731 vernietigd in een vreselijke brand. Zijn ruines werden op dat moment volledig afgebroken om het bouwen van de actuele Koningsplaats toe te laten, na 1775. Onder de stenen van de Koningsplaats bevinden zich dan ook nog indrukwekkende resten uit die tijd, die archeologen middels grote werken blootgelegd hebben. Een geleid bezoek toont u de kelders van het kasteel van de Hertogen van Brabant, de keukens, de beroemde zaal Aula Magna van Filips de Goede en nadien van Karel de vijfde, evenals de Isabelle-straat die het paleis van de Koudenberg verbond met het Collegiaal van Sint-Goedele. Dit bezoek valt uitstekend te combineren met een bezoek aan het Bellevue Museum dat gewijd is aan de geschiedenis van de Koninklijke familie.