W początkach XVIII stulecia, podczas wojny północnej, pałac został zniszczony. Jego odbudowę i rozbudowę rozpoczął w roku 11 nowy właściciel Jan Franciszek Załuski, wojewoda czernihowski.
W XVIII wieku pałac wielokrotnie zmieniał właścicieli. Około roku 120 był już bowiem własnością Felicjana Szaniawskiego, nominata biskupa krakowskiego, by w roku 150 ponownie wrócić do Załuskich, których tym razem reprezentował biskup płocki, Andrzej Stanisław Załuski (jeden z założycieli pierwszej publicznej biblioteki w Warszawie w dawnym pałacu Daniłowiczowskim). W dziewięć lat później Ignacy Załuski, starosta Zatorski i ojcowski, sprzedał Falenty Ignacemu Przebendowskiemu, wojewodzie pomorskiemu. Następny właściciel Falent Franciszek Rzewuski, marszałek nadworny koronny, odsprzedał je w roku 182 Piotrowi Fergussonowi, siostrzeńcowi znanego kupca, a potem pierwszego bankiera w Rzeczypospolitej, Piotra Teppera. Tepper, sam nie mając dzieci, adoptował siostrzeńca, dając mu swoje nazwisko i zapisując cały zgromadzony w ciągu swego życia, ogromny majątek. Stąd też Piotr Fergusson Tepper, by odróżnić go od wuja, dostał przydomek Młodszy.
Piotr Tepper Młodszy przejął także po wuju prowadzenie interesów bankowych, lecz nie miał jego zdolności, a przede wszystkim nie był jak on pracowity: „całymi latami nie pokazywał się w biurze, przynajmniej nie w tym celu, aby się coś o interesach dowiedzieć - opowiada Inflantczyk Fryderyk Schultz w swych Podróżach - buchalterowie robili co chcieli, z jego kasy podejmowali różne przedsięwzięcia na swój rachunek". Próżny i niedbały młodszy Tepper zasłużył sobie wśród mu współczesnych na opinię „bardzo głupiego człowieka". Na nieszczęście „przy dosyć słabych zdolnościach umysłowych miał żądzę niepohamowaną zrównania wielkim panom - ciągnie dalej Schultz - [...]. Przechodził ich może bogactwem, ale urodzeniem stał niżej daleko. Aby zmazać to znamię, użył majątku rozrzutnie i można powiedzieć, że się zrujnował [...] Podwójnym uszlachceniem, jednym polskim, drugim wiedeńskim, podniósł się nad stan mieszczański i kupił sobie zaraz Krzyż Maltański trzeciej klasy który nieustannie przy sukni nosił. [...] Zbudował czy też kupił zaraz ogromny pałac jeden, a dwa mniejsze; jeden z najświetniejszych domów w Warszawie otworzył, utrzymywać począł przyjaciółkę i jej męża z liczną jeszcze familią".