В случае обращения в суд Вашего мужа, во-первых подайте встречный иск. А во-вторых выясняйте на стадии судебного разбирательства, путем вопросов, может ли муж справиться с ребенком без Вашего участия.

Анастасия, то что он пойдет в суд — не значит, что суд удовлетворит его требования. Для противостояния в суде потребуется квалифицированный юрист по месту жительства и заключение органов опеки и попечительства. При этом требовать общения конкретно в Ваше отсутствие он не имеет права, такого положения в Семейном кодексе РФ просто нет. Поэтому он скорее всего просто Вас запугивает.