灰山港镇伍家巷村行政区划上隶属于桃江县，桃江县隶属于益阳市，灰山港镇伍家巷村的下属街道自然村居委会及其地理管辖范围内的企业事业单位也属于益阳市。