因暴力、威胁等非法搬迁行为造成损失的，相关责任人应依法承担赔偿责任，既包括行政赔偿责任，也包括民事赔偿责任。
如果损失是由行政机关及其工作人员行使行政职权的行为造成的，根据《国家赔偿法》规定，行政机关及其工作人员行使行政职权侵犯公民、法人和其他组织的合法权益造成损害的，应承担相应的行政赔偿责任。具体来说，如作出征收决定的市、县级人民政府相关部门及其工作人员的职务行为侵犯了被征收人的合法权益造成损害，则该部门将作为赔偿义务机关；如是因两个以上部门共同行使职权造成被征收人合法权益损害，则这些部门应作为共同赔偿义务机关承担行政赔偿责任；土地征收部门依托其他具体实施单位实施土地征收工作的，如实施单位在行使受委托的行政权力时侵犯了被征收人的合法权益造成损害，则委托的行政机关，也就是土地征收部门作为赔偿义务机关。上述赔偿义务机关应当依法承担对被征收人的行政赔偿责任。
根据《国家赔偿法》规定，具有下列情形之一的，国家不承担赔偿责任：行政机关工作人员与行使职权无关的个人行为；因公民、法人和其他组织自己的行为致使损害发生的；法律规定的其他情形。
如造成损失的非法搬迁行为不是作出土地征收决定的市、县级人民政府相关工作部门及其工作人员，或受委托的具体实施单位及其工作人员作出，或虽然是上述单位或工作人员，但造成损失的行为不是他们依据行政职权作出，那么相关的机关就不需要承担行政赔偿责任。然而，这并不意味着作出非法搬迁行为的相关单位和人员就不需要承担任何赔偿责任，他们仅是不需承担行政赔偿责任，仍应根据《民法典》等民事法律规范承担相应的民事赔偿责任。
根据《国家赔偿法》的规定，在土地征收工作中受到损失的被征收人有权向赔偿义务机关要求行政赔偿。如被征收人死亡，他的继承人和其他有抚养关系的亲属有权要求赔偿；被征收人是法人或其他组织，但依法终止的，它的权利承受人有权要求赔偿。赔偿请求人既可单独向赔偿义务机关提出赔偿请求，也可在申请行政复议或提起行政诉讼时一并提出，根据受到的损害程度的不同可同时提出数项赔偿要求。
赔偿请求人要求赔偿应递交赔偿申请书，申请书应载明以下内容：受害人的姓名、性别、年龄、工作单位和住所，法人或其他组织的名称、住所和法定代表人或者主要负责人的姓名、职务；具体的要求、事实根据和理由；申请的年、月、日。赔偿请求人不是受害人本人的，应在申请书中同时说明与受害人的关系并提供相应的证明。
赔偿义务机关应自收到申请之日起2个月内，作出是否赔偿的决定。赔偿义务机关作出赔偿决定，应充分听取赔偿请求人的意见，并可以与赔偿请求人就赔偿方式、赔偿项目和赔偿数额依照《国家赔偿法》的规定进行协商。赔偿义务机关决定赔偿的，应制作赔偿决定书，并自作出决定之日起10日内送达赔偿请求人；赔偿义务机关决定不予赔偿的，应自作出决定之日起10日内书面通知赔偿请求人，并说明不予赔偿的理由；赔偿义务机关在规定期限内未作出是否赔偿的决定，赔偿请求人可自期限届满之日起3个月内，向人民法院提起诉讼。
若赔偿请求人对赔偿的方式、项目、数额有异议的，或赔偿义务机关作出不予赔偿决定的，赔偿请求人同样可自赔偿义务机关作出赔偿或者不予赔偿决定之日起3个月内，向人民法院提起诉讼。人民法院应根据《行政诉讼法》《国家赔偿法》等的规定对赔偿义务机关的决定依法进行审理并作出判决。
赔偿义务机关作出行政赔偿后，应责令有故意或重大过失的工作人员或受委托的组织或个人承担部分或全部赔偿费用。对有故意或重大过失的责任人员，有关机关应依法给予处分；构成犯罪的，应依法追究刑事责任。
须明确的是，赔偿请求人请求行政赔偿的时效为2年，自其知道或应知道行政机关及其工作人员行使职权时的行为侵犯其人身权、财产权之日起计算。在申请行政复议或提起行政诉讼时一并提出赔偿请求的，适用行政复议法、行政诉讼法有关时效的规定。赔偿请求人在赔偿请求时效的最后6个月内，因不可抗力或其他障碍不能行使请求权的，时效中止。从中止时效的原因消除之日起，赔偿请求时效期间继续计算。
