Дворец расположен в восточной части парка Пена, который нужно пересечь, чтобы добраться до сооруженного бароном Эшвеге крутого пандуса, открывающего проход к зданию, похожему на замок. Сам дворец состоит из двух крыльев: выполненного в стиле мануэлино бывшего монастыря ордена Святого Иеронима и крыла, построенного в XIX веке королем Фердинандом II. Эти крылья окружает третье архитектурное сооружение, представляющее из себя фантастический замок со стенами, по которым можно ходить, с бойницами, смотровыми башнями, входным туннелем и даже подъемным мостом. В 1838 году король Фердинанд II купил бывший монастырь иеронимитов Богоматери Пена, построенный королем Мануилом I в 1511 году на холме, возвышающемся над Синтрой, и заброшенный с 1834 года, когда религиозные ордены в Португалии были запрещены. Монастырь состоял из крытой аркады с надворными постройками, часовни, ризницы и колокольни, которые теперь образуют северную секцию дворца Пена, или Старого дворца. Король Фердинанд начал ремонтировать бывший монастырь, который был в плачевном состоянии, согласно историческим источникам того времени. Он переделал весь верхний этаж и заменил четырнадцать монашеских келий большими комнатами со сводчатыми потолками, которые можно увидеть там и сегодня. Примерно в 1843 году король решил увеличить дворец, построив новое крыло (Новый дворец) с еще большими комнатами (хорошим примером является Большой зал) и круглой башней рядом с новыми кухнями. Строительными работами руководил барон Эшвеге. Ремонтные работы, проведенные в 1994 году, восстановили цвета экстерьера дворца: розовый для бывшего монастыря и охровый для Нового дворца.Превратив бывший монастырь в резиденцию, похожую на замок, король Фердинанд, показал, что большое влияние на него оказал немецкий романтизм и, вероятно, он вдохновлялся расположенными на берегу Рейна замками Штольценфельс и Рейнштейн, а также замком Бабельсберг в Потсдаме. Строительные работы во дворце Пена закончились в середине 1860-х, хотя дальнейшие работы по отделке интерьеров продолжались и позднее. Также король Фердинанд приказал устроить вокруг дворца парк Пена в популярном среди садов того времени стиле романтизма, с извилистыми тропинками, павильонами и каменными скамейками, расставленными в разных местах парка, и посадить деревья и другие растения, привезенные из самых отдаленных уголков света. Таким образом король использовал мягкий и влажный климат холмов Синтры для создания совершенно нового экзотического парка, в котором он собрал более пятисот видов деревьев. В 1910 году дворец Пена был признан государственным памятником, он входит в культурный ландшафт Синтры, считающийся с 1995 года мировым наследием ЮНЕСКО.