建设工程质量保证金是指发包人与承包人在建设工程承包合同中约定，从应付的工程款中预留，用以保证承包人在缺陷责任期内对建设工程出现的缺陷进行维修的资金。

依据《质量保证金管理办法》，缺陷责任期内，承包人认真履行合同约定的责任，到期后，承包人向发包人申请返还保证金。发包人在接到承包人返还保证金申请后，应于14天内会同承包人按照合同约定的内容进行核实。如无异议，发包人应当按照约定将保证金返还给承包人。对返还期限没有约定或者约定不明确的，发包人应当在核实后14天内将保证金返还承包人，逾期未返还的，依法承担违约责任。发包人在接到承包人返还保证金申请后14天内不予答复，经催告后14天内仍不予答复，视同认可承包人的返还保证金申请。

2021年1月1日开始施行的《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》（以下简称《建工司法解释（一）》）第十七条规定：有下列情形之一，承包人请求发包人返还工程质量保证金的，人民法院应予支持：（一）当事人约定的工程质量保证金返还期限届满；（二）当事人未约定工程质量保证金返还期限的，自建设工程通过竣工验收之日起满二年；（三）因发包人原因建设工程未按约定期限进行竣工验收的，自承包人提交工程竣工验收报告九十日后当事人约定的工程质量保证金返还期限届满；当事人未约定工程质量保证金返还期限的，自承包人提交工程竣工验收报告九十日后起满二年。

所以，质量保证金返还时间是可以由承包人和发包人双方约定的，质量保证金的返还时间仅与缺陷责任期是否届满有关，与质量保修期没有直接关系，当约定的质量保证金返还时间到来或者缺陷责任期届满时，即使质量保修期还没有届满，承包人也是可以主张返还质量保证金的。