\(\min(N,M) \leq \sqrt{P}\) です。 \(x(S-x)=P\) となる整数 \(x\) が存在するかどうかを \(1 \leq x \leq \sqrt{P}\) の範囲で全探索すればよいです。 計算量は \(O( \sqrt{P})\) で十分高速です。

解答例(Python)

S,P = map(int, input().split())
for i in range(1000050):
    if i*(S-i) == P:
        print("Yes")
        exit(0)
print("No")