安全乡潘家溪村行政区划上隶属于安乡县，安乡县隶属于常德市，常德市隶属于湖南省，安全乡潘家溪村的下属街道自然村居委会及其地理管辖范围内的企业事业单位也属于湖南省。