退还保证金是需要支付利息的。法律规定招标人应当在签订书面合同后的5日之内，将投标保证金和同期银行存款的利息，退还给中标人和未中标人。如果投标人未按规定退还投标保证金和同期银行存款利息的，行政监察部门可以处以罚款，造成损失的还应当承担赔偿责任。
法律依据:
《中华人民共和国招标投标法实施条例》第五十七条招标人和中标人应当依照招标投标法和本条例的规定签订书面合同，合同的标的、价款、质量、履行期限等主要条款应当与招标文件和中标人的投标文件的内容一致。招标人和中标人不得再行订立背离合同实质性内容的其他协议。
招标人最迟应当在书面合同签订后5日内向中标人和未中标的投标人退还投标保证金及银行同期存款利息。
