Lo resolví de una forma tan sencilla que me asombré yo mismo:
-Usando la arcotangente averiguamos el ángulo respecto del primer punto del segundo y del tercero.
-Por el mismo método, hayamos el ángulo del punto desconocido respecto al primer punto, y comprobamos si está entre los dos anteriores.
-Repetimos el proceso, pero tomando como referencia el segundo punto (hayamos los ángulos del primero y tercero respecto del segundo, y el del punto desconocido, y comprobamos si el punto desconocido está entre los ángulos).
De esta forma, si el punto desconocido está entre dos de los ángulos, está en el triángulo que forman

No se puede usar un único ángulo, porque no sabemos si está demasiado lejos y, por tanto, fuera de mismo, ni usar una constante de distancia porque no es un radio.
Lo divertido es que se puede usar el mismo método para cualquier figura de 4 lados, usando ángulos opuestos

Aun no me he puesto a pensar cómo sería en 3D.