一方面，探望权的行使应当受到必要限制。鉴于设立探望权的目的，在于给孩子营造良好、健康的成长、学习、生活环境，为此也就应当对行使探望权的方式、方法进行必要合理的规制。只有这样，才能保障探望权的行使处于良性、有序状态，营造有利于未成年子女的人文环境和家庭环境，建立和谐美好的亲情关系和家庭关系。正因为你前夫过于频繁的探望，严重影响儿子和你的正常生活，甚至已让儿子感到恐惧和厌恶、曾数次将其赶走，意味着其行为明显违反探望的初衷，对其加以限制已经成为必要。

    另一方面，你可以提起诉讼。民法典第1086条规定：“离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议；协议不成的，由人民法院判决。父或者母探望子女，不利于子女身心健康的，由人民法院依法中止探望；中止的事由消失后，应当恢复探望。”《最高人民法院关于适用〈民法典〉婚姻家庭编的解释（一）》第65条、第66条也分别指出：“人民法院作出的生效的离婚判决中未涉及探望权，当事人就探望权问题单独提起诉讼的，人民法院应予受理。”“当事人在履行生效判决、裁定或者调解书的过程中，一方请求中止探望的，人民法院在征询双方当事人意见后，认为需要中止探望的，依法作出裁定；中止探望的情形消失后，人民法院应当根据当事人的请求书面通知其恢复探望。”

    从中可以看出，如果离婚当事人在离婚时未就探望权行使的方式、时间等进行约定或法院没有就此作出判决，或者虽然已经判决但因情势变更发生纠纷，都可以就探望权问题提起诉讼。