該博物館的建築最早建於1892年，用作聖荷西市的郵局，屬於理查森羅馬式建築。建築最初的尖頂和鐘樓在1906年地震中被破壞。1937年到1969年，該建築曾是聖荷西市的圖書館。 隨後，由社區成員和聖荷西州立大學藝術教授組成的美術畫廊協會對該建築進行了改造，然後作為公民藝術館重新開放。1972年，該建築被列入加州歷史地標（#854），1973年它被列入國家史跡名錄。
1991年，SOM建築設計事務所為博物館設計了占地45,000平方英尺的現代建築「新翼」（New Wing），用於容納大部分的展覽空間。Robinson, Mills＆Williams公司負責新翼的室內設計。
聖荷西藝術博物館在20世紀90年代末進行了一次重大的抗震改造，當時對建築內部進行了進一步的改造和重新整合。
1997年，博物館的翼樓經過兩年半的改造後重新開放
2024山陽四國紅葉賞六日 (4)