根据我国婚姻法的相关规定，解除婚姻关系可以有协议离婚和诉讼离婚两种方式。异地打工人员如果不能协议离婚，就只想有管辖权的法院提起离婚诉讼，通过诉讼离婚的方式解除婚姻关系。

我国《民事诉讼法》第22条规定：“对公民提起的民事诉讼，由被告住所地的人民法院管辖;被告住所地与经常居住地不一致的，由经常居住地人民法院管辖。”

同时，最高人民法院《关于适用〈中华人民共和国民事诉讼法〉若干问题意见》第12条还规定：“夫妻一方离开住所地超过一年，另一方起诉离婚的案件，由原告住所地人民法院管辖。夫妻双方离开住所地超过一年，一方起诉离婚的案件，由被告经常居住地人民法院管辖;没有经常居住地的，由原告起诉时居住地的人民法院管辖。”根据上述法律规定和司法解释的内容，你们双方离开家乡外出打工，丈夫经常更换住址，你应向你居住地的人民法院起诉离婚。另外，如果你找不到丈夫现居住的地方，你还可依法向你居住地的人民法院起诉诉讼离婚。

如果办理了暂住证的，凭暂住证就可以向暂住证所在地的法院提起诉讼，如果没有办理，则需要向居住地的居委会或者派出所开出居住证明才能够向居住地的法院提起诉讼。