Si habla de hipotenusa y catetos se estará refiriendo a un triángulo rectángulo, aunque no lo especifique, así que sólo hay que aplicar el teorema de Pitágoras con uno de los catetos despejado de la fórmula:
______ ______________
Cateto = √ H² - c² = √(x² + y²)² - (2xy)²
Ahora hay que desarrollar ese radicando...
(x² + y²)² - (2xy)² = x⁴ + y⁴ + 2x²y² - 4x²y² = x⁴ + y⁴ - 2x²y²
Desglosando así:
x⁴ = a² ----> x² = a
y⁴ = b² ----> y² = b ... y sustituyendo arriba tendremos...
a² + b² -2ab ... es el desarrollo un producto notable de binomio: cuadrado de una diferencia
= (a-b)² ... lo pongo dentro de la raíz...
_____
Cateto = √(a-b)² = a-b ... sustituyo por sus valores reales y tengo finalmente que el cateto buscado es: x²-y²
Saludos.