岘山乡杨林庙村行政区划上隶属于衡阳县，衡阳县隶属于衡阳市，岘山乡杨林庙村的下属街道自然村居委会及其地理管辖范围内的企业事业单位也属于衡阳市。