起诉要回孩子抚养权，根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》，具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：
1.与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
2.与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
3.已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
4.有其他正当理由需要变更。
起诉时，需收集能证明上述情况的证据，向有管辖权的法院提起诉讼。法院会根据最有利于未成年子女的原则进行判决。
离婚协议约定孩子归女方抚养通常具有法律效力。
根据《民法典》规定，夫妻双方自愿离婚的，应当签订书面离婚协议，离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。只要该离婚协议是双方真实意思表示，内容不违反法律、行政法规的强制性规定，不违背公序良俗，且在办理离婚登记后，协议即生效，其中关于孩子抚养权归女方的约定也随之生效。
不过，若出现法定情形，如与子女共同生活的一方不尽抚养义务、有虐待子女行为等，另一方可以向法院起诉要求变更抚养权。
