¿Cómo debe ser la separación si se vive en unión libre y se tiene un hijo?

¿Cómo debe ser la separación cuando se vivió durante 5 años en unión libre? Y tenemos un hijo de 4 años. Hace 2 meses nos separamos. Ya nos asignaron días para convivir con nuestro hijo.
El detalle es cuando lo llevó con su mamá a las 8 pm del domingo, ya que vive con sus padres en una colonia conflictiva. Y me cuesta trabajo. Y aparte es peligroso para el niño. Mi duda es qué más puedo hacer. Ya que no veo un cuidado íntegro por parte de ella hacia el niño. Esta semana el niño lo recibí con un golpe en su cachete. Y me comenta la mamá que se cayó de la cama. Sea cual sea el motivo, no veo cuidado en el niño. Y descuido en su higiene.