[Annabella]

Закона, запрещающего человеку общаться с собственными детьми, если он не выделяет палочки на данный момент, нет.
Ваш муж не ограничен судом в родительских правах. У Вас есть вариант - раз Вы не можете решить проблему между собой - обратиться в опеку, если не сможете договориться и придти к соглашению там- то опека поможет обратиться в суд.
При этом в первую очередь учитываются интересы детей, а не несогласие между их родителями.