用人单位不可以扣押劳动者的身份证、档案。
如果单位扣押劳动者的身份证或学历证书等材料文件，若劳动者向劳动行政部门举报的，单位将会面临劳动行政部门责令限期改正并予以处罚。
【法律依据】
《劳动合同法》第九条，用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。
《劳动合同法》第八十四条，扣押劳动者居民身份证等证件的，由劳动行政部门责令限期退还劳动者本人，并依照有关法律规定给予处罚。
用人单位违反本法规定，以担保或者其他名义向劳动者收取财物的，由劳动行政部门责令限期退还劳动者本人，并以每人五百元以上二千元以下的标准处以罚款；
给劳动者造成损害的，应当承担赔偿责任。劳动者依法解除或者终止劳动合同，用人单位扣押劳动者档案或者其他物品的，依照前款规定处罚。
