Muzeum mieści się w klasycystycznym pałacu z końca XVIII wieku, należącym do pereł polskiej architektury. Jest on dziełem wybitnego architekta Stanisława Zawadzkiego. Zbudowany na planie podkowy, posiada monumentalny portyk joński, neopalladiańskie arkadowe galerie, strojne panoplia oraz charakterystyczne oficyny z łamanymi dachami, będącymi echem wzorów z chińskich pagód. Sztukaterie wykonał Michał Ceptowski, a malowidła we wnętrzach pałacu – Antoni i Franciszek Smuglewiczowie.
Część północną i wschodnią siedziby otoczył ogród krajobrazowy będący miniaturą parku angielskiego. Pałac śmiełowski poza zaletami kompozycji wyróżnia się tym, że został usytuowany w wyjątkowo uroczym miejscu i że walory tego pięknego położenia zostały przez architekta wykorzystane.
Do roku 1784 Śmiełów był częścią dóbr żerkowskich i dzielił ich losy, po czym nabył go Andrzej Gorzeński herbu Nałęcz, sędzia grodzki poznański. Z jego inicjatywy powstał pałac i zespół budynków gospodarczych. Po śmierci Andrzeja majątek odziedziczył syn – Hieronim, który jako oficer napoleoński brał udział w marszu na Moskwę. Po powrocie do Śmiełowa zajął się wraz z żoną prowadzeniem majątku. Podjął też działalność konspiracyjną.
Leżąca wówczas przy granicy Rosji i Prus siedziba, stała się ośrodkiem patriotycznej kontrabandy, a w czasie powstania listopadowego, miejscem przerzutu ochotników do Królestwa. W połowie sierpnia 1831 roku zatrzymał się tu Adam Mickiewicz, który wiózł ze sobą pisma od Legacji Polskiej w Paryżu dla Rządu Narodowego.
W czasie trzytygodniowego pobytu w majętności Gorzeńskich występował pod przybranym nazwiskiem Adama Műhla oraz jako rzekomy kuzyn właścicieli i nauczyciel ich synów. Do powstania próbował przedostać się w nadgranicznej wsi Komorze, ale wobec zbliżającej się klęski zmuszony był do powrotu. W Śmiełowie dotarła do niego wiadomość o upadku obrony Warszawy z czym wiąże się opowieść o drzewku dębowym, które tego dnia poeta posadził w parku, wygłaszając jednocześnie sentencję o odrodzeniu Polski. Rosnące do lat dwudziestych XX wieku drzewo, otoczone szczególnym kultem stało się symbolem nadziei.
