現状ある \(N\) 個のボールの中で最も多い色に全てのボールを合わせるのが最適です。

\(\text{cnt}[v]\) を \(N\) 個のボールのうち色 \(v\) であるようなボールの個数としたときに、答えは \(\displaystyle N-\max _v\text{cnt}[v]\) と表すことができます。

実装例(Python3)

n = int(input())
c = list(map(int, input().split()))
cnt = [0] * n
for v in c:
    cnt[v - 1] += 1
print(n - max(cnt))