Murowany pałac został wybudowany przed 1730 r. przez Kazimierza Czartoryskiego.

Historia rezydencji siedleckiej sięga czasów przed lokacyjnych, to Siedlce były największą wsią w kluczu dóbr Gniewow ziemi łukowskiej. Prawdopodobnie pierwszy dwór zbudowany na przełomie XV/XVI w. jako siedziba Daniela Wosza-Siedleckiego. W rękach rodu Siedleckich majątek wał do końca XVI w. Później dobra przeszły w ręce Woch, a następnie Olędzkich. Za czasów władania dobrami Olędzkich, prawdopodobnie po 1660 r. wzniesiony został dwór. Zachowany zapis z 1698 r. przekazuje, że był to dwór drewniany, kryty gontem z gankiem i niewielkim pięterkiem O dwóch pomieszczeniach. W parterze znajdowało się sześć pokoi, dwie sienie i kuchnia. Po północnej i wschodniej stronie dworu rozciągał się park „włoski”. W zachodniej części założenia usytuowane były zabudowania folwarczne. Murowany pałac został wybudowany przed 1730 r. przez Kazimierza Czartoryskiego. Zachowane materiały archiwalne opisują pałac jako budynek parterowy z gankiem na osi, nakryty dachem gontowym. Pałac mieścił w sobie dwanaście pokoi, cztery garderoby i dwie duże sale reprezentacyjne. Podłogi i stropy wykonano z drewna. W salach reprezentacyjnych ułożono podłogi Z dekoracyjnie opracowanych kwadratów, a sufity pomalowano. W latach 1769-1770 Michał Fryderyk Czartoryski, syn Kazimierza Czartoryskiego, przeprowadził generalny remont pałacu. W niedługim czasie po tym remoncie na zlecenie Aleksandry Osińskiej, dokonano w latach 1779-1781 gruntownej jego przebudowy. Pałac przebudowany przez arch. Stanisława Zawadzkiego, przy udziale króla Stanisława Poniatowskiego i Joachima Hempla, otrzymał klasycystyczną bryłę i wystrój. W części środkowej wybudowano górną kondygnację oraz nową fasadę, natomiast po bokach dwa parterowe skrzydła usytuowane pod kątem prostym do korpusu głównego. Część centralną na kryto dachem mansardowym, pozostałe skrzydła dachami dwuspadowymi. Wielkie zmiany zaszły również w bezpośrednim otoczeniu pałacu. Dotychczasowy park „włoski” został przekształcony przy udziale Szymona Bogumiła Zuga, Franciszka Salezego Sarnowskiego i Aleksandry Ogińskiej w ogród sentymentalny. W związku z planowaną na lipiec 1783 r. wizytą króla Stanisława Augusta Poniatowskiego w Siedlcach przygotowano odpowiednio rezydencję hetmanowej. Między innymi również w ogrodzie zaplanowała Ogińska stworzenie widowiska mającego olśnić króla, co udało się w pełni. Ogrodowa sceneria z wieloma romantycznymi i egzotycznymi obiektami, połączona z teatralną inscenizacją, wywarły duże wrażenie na królu i jego świcie. Wydarzenie to zapoczątkowało „Turniej Dam”, w którym cztery wielkie polski damy, tj. Izabela z Flemingów Czartoryska (Puławy i Powązki), Helena z Przeźdzjeckjch Radzjwjłłowa (Nieborów), Elżbieta z Czartoryskich Łubomirska (warszawski Mokotów) i Aleksandra Ogińska (Siedlce) o miano twórczyni najpiękniejszej polskiej sielanki ogrodowej. W swej rezydencji księżna stworzyła znaczący ośrodek życia towarzyskiego,teatr, a także szkółkę parafialną, organizował przed- stawienia teatralne, bale, przejażdżki, festyny. . Nie mając sama dzieci, brała w swą opiekę nieszczęśliwych i ubogie sieroty, które posażąc wydawała za mąż, podupadłe rodziny wspierała, a młodzieńcom szczodrobliwością swoją otwierała naukowe zakłady. W domu, w którym dziś Urząd Pocztowy w Siedlcach się mieści, była wtedy oberża, gdzie z rozkazu hetmanowej, codziennie darmo rozdawano obiady dla ubogich”. Po śmierci Aleksandry Ogińskiej majątek po niej odziedziczyła Izabela Czartoryska, która w 1807 r. zamieniła dobra siedleckie na dobra należące do rządu. Od tego czasu pałac stał się obiektem użyteczności publicznej. Po utworzeniu Księstwa Warszawskiego, w pałacu miał siedzibę prefekt Departament Siedleckiego. W czasie Królestwa Kongresowego usytuowana w nim Komisję Województw Podlaskiego. Z chwilą utworzenia guberni podlaskiej, pałac zajął rząd gubernialny podlaski. Po skasowaniu guberni podlaskiej, pałac został zaniedbany, tak że przy tworzeniu w 1867 r. guberni siedleckiej, musiano przeprowadzić generalny remont, m.in. zmieniono kształt dachu z łamanego poilskiego na czteropołaciowy. Ulokowano tu rząd gubernialny i mieszkania gubernatorów, które były tu do 1912 r. W okresie międzywojennym, w pałacu mieścił się Zarząd Lasów Państwo- wych, a od roku 1921 był siedzibą kurii diecezjalnej. Został spalony w 1944 r., a następnie odbudowany w 1950 r. W trakcie odbudowy dokonano poważnych przekształceń wnętrza, związanych z potrzebami nowych użytkowników. Przez wiele lat mieścił się tu Urząd Miasta. Obecnie pałac przejęła siedlecka Akademia Podlaska.