不归还他人的身份证会违反我国的居民身份证法，行为人非法扣押他人居民身份证的，将由公安机关给予警告，并处以200元以下罚款。身份证是用于证明居住在我国境内的公民身份证明文件。
法律依据:
《中华人民共和国居民身份证法》第十六条有下列行为之一的，由公安机关给予警告，并处二百元以下罚款，有违法所得的，没收违法所得：
（一）使用虚假证明材料骗领居民身份证的；
（二）出租、出借、转让居民身份证的；
（三）非法扣押他人居民身份证的。
不归还他人的身份证会违反我国的居民身份证法，行为人非法扣押他人居民身份证的，将由公安机关给予警告，并处以200元以下罚款。身份证是用于证明居住在我国境内的公民身份证明文件。
《中华人民共和国居民身份证法》第十六条有下列行为之一的，由公安机关给予警告，并处二百元以下罚款，有违法所得的，没收违法所得：
（一）使用虚假证明材料骗领居民身份证的；
（二）出租、出借、转让居民身份证的；
（三）非法扣押他人居民身份证的。
