Budynek został zbudowany na miejscu hiszpańskiego kompleksu muzealnego w stylu kolonialnym, zniszczonego przez trzęsienie ziemi w 1989 roku. Eleganckie formy i oryginalne wykorzystanie materiałów, charakterystyczne dla Jacquesa Herzoga i Pierre'a de Meurona, wywołały aktywny sprzeciw konserwatywnych władz miasta, ale upór muzealnej administracji umożliwił realizację projektu.
Konstrukcja jest w całości pokryta miedzią (łącznie użyto 7602 paneli o różnych kształtach) i jest największym budynkiem pokrytym tym metalem na świecie.
Głównym elementem projektu jest zakrzywiona wieża wznosząca się ponad wierzchołkami drzew parku Golden Gate, w którym znajduje się muzeum. Oferuje widoki na miasto, a także łączy budynek z San Francisco: wielkość wieży sprawiła, że stała się ona zauważalnym elementem miejskiego krajobrazu.
Główną bryłę, prostokątną w planie, przecinają małe dziedzińce obsadzone paprociami. Szklane ściany uczyniły te ogrody częścią wnętrza muzeum.
Szczególną uwagę architektom zwrócono na podkreślenie ciągłości przepływu przestrzeni: wejście do muzeum połączone jest otwartym dziedzińcem z dużym holem, stamtąd szerokie schody prowadzą do sal drugiego piętra. Ułatwiają to również zakrzywione plany hal wystawowych. Wnętrza muzeum zdobi drewno eukaliptusowe.
Koszt całego projektu wyniósł 190 milionów dolarów, które zostały zebrane przez osoby prywatne, mimo że zarówno kolekcja (sztuka z Afryki, Oceanii, Mezoameryki), jak i samo muzeum należą do miasta.
