相传上杭未置县前，这里有山精石妖经常出没，为害百姓，黄七翁精于巫术，率领两个儿子前往深山，以符法治之，并隐身入石，不出，石壁隐映有人影，俨若仙师像，群怪遂息。旧传每逢风雨天，石中隐隐有金鼓声，当地百姓敬畏之，建祠塑像祭祀。

上杭建县后，在县治西建祠奉祀。元明清时，上杭县至少有14座黄仙师庙，武平县至少有6座黄仙师庙，永定县也有若干座黄仙师庙(民国《上杭县誌》卷20，民国《武平县誌》卷20)。至今，黄仙师在上杭县仍有影响。县西黄仙师庙楹联写道：“虎跨三川临福地，龙回一邑卫杭川”，说明上杭人把黄仙师作为地方保护神来奉祀。