实际用人单位（用工单位）与被派遣劳动者之间建立的是用工关系，而非劳动关系，因此在被派遣劳动者有法定解除情形时，用工单位只能将劳动者退回，而不能与劳动者解除劳动合同关系。根据我国劳动法律法规之规定，在具备下列情形时，用工单位可以将被派遣的劳动者退回：
（一）被派遣劳动者在试用期间被证明不符合录用条件的；
（二）被派遣劳动者严重违反用工单位的规章制度的；
（三）被派遣劳动者严重失职，营私舞弊，给用工单位造成重大损害的；
（四）被派遣劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用工单位提出，拒不改正的；
（五）被派遣劳动者以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同，导致合同无效的；
（六）被派遣劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的；
（七）劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；
（八）依法被追究刑事责任的。