Suvun tilan vanhan navetan paikalle alkoi kohota italialaishenkinen, uusklassinen museorakennus. Vaikka suunniteltu taidekoulu ei koskaan toteutunut, käsitteet taidekoulusta ja museosta kietoutuivat Nelimarkalle erottamattomasti yhteen. Nelimarkka-museon avajaispuheessa vuonna 1964 taiteilija toivoi, että laajenevaa taidekokoelmaa käytettäisiin havainto-opetusvälineenä kuvaamataiteen harrastuksen ja taideopetuksen yleistämiseksi kaikille.
Museota laajennettiin vuosina 1972–1974, lähinnä Eero Nelimarkan omien piirustuksien mukaan. Professori Nelimarkka hoiti museotaan itse vielä viimeisenä elinvuonnaan 1977. Museo kunnallistettiin vuonna 1981 ja nimitettiin Etelä-Pohjanmaan aluetaidemuseoksi vuonna 1995. Vuodesta 2020 alkaen aluetaidemuseot korvautuivat alueellisilla vastuumuseoilla ja Nelimarkka-museo hoitaa taiteen vastuumuseotehtävää Etelä-Pohjanmaan maakunnassa.
Alajärven kunnan ja sittemmin kaupungin toimesta museorakennuksen tilaa on kohennettu useaan otteeseen. Vuodesta 1983 alkaen kaikki muutos- ja korjaussuunnitelmat ovat toteuttaneet arkkitehdit Käpy ja Simo Paavilainen. Museovirasto on määritellyt museoalueen valtakunnallisesti merkittäväksi rakennetuksi kulttuuriympäristöksi vuonna 2009. Arkkitehtitoimisto Käpy ja Simo Paavilaisen suunnittelema ajanmukainen taidevarasto valmistui vuoden 2013 aikana ja vuonna 2014 museoon rakennettiin hissi, joka tekee monikerroksisesta rakennuksesta saavutettavan myös liikuntarajoitteisille.