该建筑物本来是苏格兰商人杜格拉斯·林柏于1861年建成，并将之命名为杜格拉斯堡，以作为其公司总部及其寓所之用。1894年，法国传道会购入该建筑物，并改名为拿撒勒楼。拿撒勒楼遭到大规模修葺及重建，更加建了一所印刷工场。1953年，法国传道会撤离拿撒勒楼，并由香港大学于翌年购入。该建筑物于1956年正式用作男生宿舍，并改称为大学堂。

大学堂之外有设计优雅的梯级，而于内部则有古色古香的图书馆及螺旋式楼梯，都是该建筑物的特色。多套香港电影曾于该建筑物取景，包括《流氓医生》、《玻璃之城》等。