Может ли бывший муж брать ребенка к себе до достижения ребенком трехлетнего возраста?

Кто из родителей на что имеет право должно быть определено решением суда. Пока такого решения нет родители имеют право забирать (или не давать другому забирать) ребенка — как считают нужным.
Обычно та сторона, с которой ребенок живет, устанавливает свои правила. А противоположная сторона, если ее что-то не устраивает, подает в суд иск «Об определении порядка общения с ребенком», где указывает, что хочет общаться по таким-то дням (например, каждое второе воскресенье месяца) такое-то время (с 8:00 до 12:00) и режим общения (например, на чьей территории или «в присутствии матери»). Соответственно, на иск можно возражать, оспаривая какие-то пункты или уточняя их (или предложить встречный порядок, обосновывая его своими аргументами). Но тут придется аргументировать, а почему Вы не согласны с тем, чтобы встречи происходили именно так, как запросил отец ребенка. Автоматом (только потому, что ребенку мало лет) ему никто ничего не запретит. Над аргументами нужно хорошо подумать — они должны выглядеть для суда убедительными и максимально ориентированными на интересы ребенка.