当然，认定双方违约的前提是双方均无正当理由而违反了合同的约定。如果一方当事人依法行使留置权或双务合同的抗辩权(先履行抗辩权或同时履行抗辩权)，虽然其行为也具有“不履行合同义务”的表象，但行使留置权或合同抗辩权构成“违法阻却”，是正当的合法的行为，不能认定为双方违约。我们认为，本案中并不存在合法行使留置权或合同抗辩权的情况，理由如下：

1、我国《合同法》仅规定在仓储合同、保管合同、承揽合同、运输合同等特定类型的合同项下可以行使留置权。留置权为物权之一种。根据物权法定原则，在法律未明确规定时，货运代理人在货运代理合同或委托合同项下无权行使留置权。如果货运代理人以敦促委托人及时支付费用为目的，有意扣留单证，其行为没有法律依据仍构成违约。

2、合同抗辩权，是指债务人用以对抗债权人请求履行权利的权利。合同抗辩权行使的法律后果：一是对方履约请求权的效力被延搁，该合同的履行中止或被拒绝;二是债务人的行为不构成违约，不须承担违约责任。但是，一方当事人行使合同抗辩权必须符合一定的构成要件。要件之一，抗辩一方所负义务与对方所负义务具有对等性。对方如已履行主给付义务而仅未履行从给付义务，抗辩一方不得拒绝履行己方的主给付义务。同样，某项义务虽基于合同而产生，但依照法律规定、行业习惯或通常观念具有一定的独立性，这种义务应及时予以履行，负有该义务的一方也不得对之主张合同抗辩权。