Skolens start var ikke uden problemer, og et af de største var tilgængelighed. Det gamle slot var aldeles uegnet for kørestolsbrugere og gangbesværede, der skulle bæres op og ned ad trapper. Af den grund gik man fra starten med planer om at erhverve sig nogle nye bygninger. Viggo Kampmann udtalte bl.a.: „Midlerne skaffes dels ved udnyttelse af højskoleloven, dels ved støtte fra Vanførefonden og fra en bidragyder, som foreløbig må være ukendt. Der bliver jo betydeligt flere udgifter end til selve bygningen. Hensigtsmæssige møbler og inventar vil også give store udgifter. Men sagen er det værd“.
Den ukendte størrelse viste sig at være Egmont H. Petersens Fond, som endte med at donere 1 million kroner mod at skolen fik navnet Egmont Højskolen. Vi har idag ikke nogen forbindelse til Egmont-koncernen, et spørgsmål som meget ofte og forståeligt nok stilles.
I juni 1959 gik byggeriet af den nye skole i gang og i september 1960 fjernes det gamle slot. Tårnet på hovedbygningen falder - og „den grå dames“ ene sko fløj over i gartner Olsens have. (Der er i årenes løb vedvarende blevet fortalt mange historier om denne spøgelseskvinde, som selv ædruelige personer hævder at have set på skolen, i parken eller skoven).

Overgangen mellem gammelt og nyt