不退还，只要居间人完成居间服务，促成双方当事人签订合同，就已完成了居间义务，当事人应当支付居间报酬。理由如下：
中介机构提供的是居间服务，居间合同是居间人向委托人报告订立合同的机会或者提供订立合同的媒介服务，委托人在居间人的介绍下与第三人达成协议，并向居间人支付报酬。
《民法典》第九百六十三条
中介人报酬请求权】中介人促成合同成立的，委托人应当按照约定支付报酬。对中介人的报酬没有约定或者约定不明确，依据本法第五百一十条的规定仍不能确定的，根据中介人的劳务合理确定。因中介人提供订立合同的媒介服务而促成合同成立的，由该合同的当事人平均负担中介人的报酬。
因此，现实中要是房屋中介公司已经促成买卖双方达成房屋买卖合同，居间行为已经完成的情况下，即使买卖双方最终解除了房屋买卖合同，仍然需要向房屋中介公司支付中介费。