Budynek będący obecnie siedzibą Muzeum Etnograficznego we Wrocławiu został wzniesiony z inicjatywy kardynała Philippa Ludwiga von Sinzendorfa i usytuowany na terenie istniejącego już od XVI wieku majątku ziemskiego biskupów wrocławskich zwanego miedzy innymi Białym Folwarkiem (niem. Weisses Vorverk). Budowę pałacu, zaprojektowanego przez architekta Christophera Hacknera, rozpoczęto w 1737 roku, natomiast prace wykończeniowe i wnętrzarskie trwały praktycznie do II wojny śląskiej (1744–1745). Rezydencja wykorzystywana była sezonowo jako miejsce do odpoczynku i podejmowania gości, miała ogromną salę balową i cztery pokoje mieszkalne. Urodą zachwycał przylegający do pałacu park i ogród w stylu francuskim. Po śmierci kardynała rezydencję objął jego następca – biskup Philipp Gotthard von Schaffgotsch. Tenże, początkowo wspierany przez pruskiego króla Fryderyka II, popadł w niełaskę, kiedy podczas wojny siedmioletniej (1756–1763) poparł Austrię, a nie Prusy. W 1766 roku skazano go na banicję, zaś sam pałac skonfiskowano i upaństwowiono. W następnych latach budynek jeszcze wielokrotnie zmieniał swoje przeznaczenie i właścicieli.
W 1803 roku, kiedy jego właścicielami zostali Karl Juliusz Meyer oraz Brandon Georg von Sprockhoff, stracił swój reprezentacyjny charakter. W oficynach, kuchni i budynku ogrodnika urządzono fabrykę przerabiająca cykorię, używaną do wyrobu kawy zbożowej. Zlikwidowano wówczas także ogród francuski, który został przeznaczony na podjazdy.
W 1880 r. pałac zakupił przemysłowiec Egmond Websky, który rozbudował go w stylu neobarokowym i przystosował do potrzeb mieszkalnych. Budynek nazywany „willą Webskich” w prawie niezmienionej formie architektonicznej przetrwał do dziś. W 1907 roku stał się siedzibą Urzędu Stanu Cywilnego, podczas II wojny światowej uległ zniszczeniu (wypalone wnętrze) i został odbudowany w latach 1962–1965 według projektu Jana Grudzińskiego. Od tego czasu do przejęcia go na siedzibę w 2004 roku przez Muzeum Etnograficzne pełnił funkcję Domu Aktora.
Z przeszłością budowli związana jest również historia zbrodni w afekcie. Pod koniec XVIII w. pałac kupił Leopold von Zedlitz, który wynajął go węgierskiemu kupcowi Lajosowi von Troerowi. Ten często podróżował w sprawach zawodowych, więc opiekę nad posiadłością powierzył swojej przyjaciółce Teresie Strommein. Wybranka wdała się jednak w romans z baronem Zedlitzem, co doprowadziło do tragedii – zazdrosny Węgier, dowiedziawszy się o zdradzie, zamordował niewierną kochankę.