局部山坳及沟谷内因受山地小气候影响，气温相对偏高，节气略早，是山区较好的农耕区，山以此得名，取黍谷丰收之意。旧有“黍谷回春”之说，为“密云八景”之一。春秋战国时期，黍谷山为燕地，燕国太子丹重修黍谷山庙碑记中有：“黍谷燕山……'等字款。据史料载：“燕有黍谷，地美且寒，气寒不生五穀，邹子吹律致气，既寒，更为温热以种黍，黍生丰熟，到今名之曰黍谷。”邹子名衍，燕昭王所师，号谈“天衍者也。”曾北过寒谷，到过黍谷山地区。黍谷山由中元古界蓟县系白云岩构成，岩石形成年代距今约15亿年。附近断层交错，岩性複杂，为燕山期以来形成的褶皱断块山。山区植被少，以灌木丛为主，东侧有人工栽植的洋槐林。附近山间产大理石，有小型金矿，北麓古河道一线产建筑用砂。西麓与平原交界处有公路通密云镇。景区内有邹子祠、西岩寺、观音堂、吕祖庙等10余处古蹟。其中西岩寺东大殿的台阶旁有两眼古井，井水左甜右苦。寺内另有3棵辽代所植的白果树，高30余米。