L'edificio è stato costruito sul sito di un complesso museale in stile coloniale spagnolo distrutto dal terremoto del 1989. Le forme eleganti e l'uso originale dei materiali, caratteristici di Jacques Herzog e Pierre de Meuron, provocarono un'attiva opposizione da parte delle autorità conservatrici della città, ma la persistenza dell'amministrazione museale permise comunque di attuare il progetto.
La struttura è completamente rivestita di rame (sono stati utilizzati in totale 7602 pannelli di varie forme) ed è l'edificio rivestito con questo metallo più grande al mondo.
L'elemento principale del progetto è una torre curva che si eleva sopra le cime degli alberi del Golden Gate Park, dove si trova il museo. Offre una vista sulla città, e collega anche l'edificio con San Francisco: le dimensioni della torre le hanno permesso di diventare un elemento notevole del paesaggio urbano.
Il volume principale, a pianta rettangolare, è tagliato da piccoli cortili coltivati a felci. Le pareti di vetro hanno reso questi giardini parte degli interni del museo.
Particolare attenzione è stata riservata agli architetti per sottolineare il flusso continuo degli spazi: l'ingresso al museo è collegato ad un ampio atrio da un cortile aperto, da qui un ampio scalone conduce alle sale del secondo piano. Ciò è facilitato anche dalle planimetrie curve dei padiglioni espositivi. Gli interni del museo sono decorati con legno di eucalipto.
Il costo dell'intero progetto è stato di 190 milioni di dollari, che sono stati raccolti da privati, nonostante sia la collezione (arte dall'Africa, l'Oceania, la Mesoamerica) sia il museo stesso appartengano alla città.
