胡家山行政区划上隶属于大祥区，大祥区隶属于邵阳市，胡家山的下属街道自然村居委会及其地理管辖范围内的企业事业单位也属于邵阳市。