Dit huis wat in de volksmond ook wel het "Hof van Arkel" werd genoemd moet van grote waarde zijn geweest, het stond recht tegenover de ingang van de kerk en en sinds 1545 zat de school er naast. Dit enorme huis is vanaf 1400 bewoond geweest door de Heeren van Arkel en een aantal vooraanstaande bestuurders en bevelhebbers. Rutger Thomas van Gorkom zat dus goed in de slappe was.
Dit kan ook verklaren waar zijn zoon in Utrecht later een aantal panden bezat.