玉山乡行政区划上隶属于河南省驻马店市遂平县，玉山乡的下属街道自然村居委会及其地理管辖范围内的企业事业单位也属于河南省驻马店市遂平县。