Casa prestada sin papeles y quiero recuperarla

Mi papá me heredó una casa, esa casa él hace 30 años se la dio en calidad de préstamo a su empleado y su familia, los dejó vivir ahí sin nada escrito ni cobrarles renta. Ahora que la heredé quiero tomar posesión de ella. El problema es que la familia del trabajador de mi papá, aunque el señor ya falleció, sigue viviendo ahí. Como mi papá se las prestó para vivir nunca se hizo cargo de la casa ni los visitamos, hasta ahora que trato de recuperarla. Hace unos años tratamos de que nos firmarán un contrato de renta pero se negaron y ahora que tengo interés en ocuparla quiero saber qué puedo hacer para recuperar mi casa. Y saber si corro riesgo de perder la casa y que ellos se la queden porque me dicen que como llevan muchos años viviendo ahí es posible que se la queden. Ayuda por favor