你好,我想咨询一下,我和丈夫离婚了,他至少有上千万的家产,当时我什么财产都不要他的,就是想带着女儿离开他,因为他有暴力倾向,当时离婚协议上也写着女儿的抚养权是我的,他有探视权,每个月付我一千元扶养费,但是现在他一个月至少五天的时间都要接女儿去他那边,我们两家离得也不远,他一想女儿了就过来接人,特别是一到节日,他都要女儿在他那边过,不管我同意不同意,女儿也要在他家过夜,他这样是合法的吗?我应该怎么办呢