Por infidelidad ¿puedo perder a mis hijos?

Me salí de mi casa porque ya nos llevamos bien, tenemos muchos problemas, tiene mensajes y llamadas del muchacho con el que estoy saliendo y me dice que me pude quitar a mis hijos. Él me corrió de la casa y no es la primera vez, esto siempre es delante de mis hijos. Ahora que me salí no me los puede llevar porque no tengo a donde tenerlos, ya que carezco de ingresos como para pagar renta. No me permite casi verlos y los esta mal aconsejando contra mí. ¿Es cierto que puedo perderlos?