Questa decisione è stata presa come concessione all'atteggiamento aggressivo dei familiari di coloro che sono stati uccisi durante l'attacco terroristico dell'11 settembre 2001. Secondo loro, nel luogo in cui sorgevano le torri gemelle, non dovrebbero esserci istituzioni che potessero distogliere l'attenzione da questa tragedia. In precedenza è stato annunciato che solo quelle istituzioni culturali che si impegnano a non tenere mai mostre e altri eventi che potrebbero offendere i sentimenti patriottici degli americani possono essere ammessi nel territorio del WTC. Di conseguenza, il Drawing Center, che avrebbe dovuto condividere con il Freedom Center un edificio acclamato dalla critica progettato dall'ufficio norvegese Snohetta, ha annullato il contratto di locazione ed è alla ricerca di un altro spazio.
Così, il piano di Libeskind era nuovamente minacciato: era secondo il suo progetto che le istituzioni culturali dovevano essere collocate accanto al monumento alle vittime dell'attacco terroristico nelle "impronte" delle fondamenta dei grattacieli distrutti. Ora l'unico "proprietario" garantito dell'edificio sarà il centro visitatori.
Si parla anche di cambiamenti nella posizione delle autorità: il Freedom Center, caduto in disgrazia, è stato concepito nel 2002 come un'istituzione dedicata alla storia della lotta per la libertà personale nel mondo.
In seguito all'annuncio della censura da parte del governatore George Pataki sul sito del WTC nel luglio 2005, molti personaggi pubblici di spicco hanno lasciato il consiglio guidando la progettazione e la costruzione del nuovo complesso. Dopo l'ultima decisione di Pataki, molte altre persone se ne andarono, tra cui Agnes Gund, direttrice onoraria del Museum of Modern Art e un importante filantropo. Ora, secondo gli analisti, sarà particolarmente difficile raccogliere fondi per la costruzione dell'edificio Snohetta e del memoriale di Michael Arad. Pertanto, il destino dell'edificio era in pericolo. Incerto anche il futuro dell'edificio teatrale progettato da Frank Gehry: l'architetto si è lamentato con i giornalisti della totale mancanza di contatti con i clienti, e la realizzazione del progetto era prevista per la "seconda fase" del restauro del World Trade Center - cioè, in un lontano futuro.
