(より詳しい解説は後日ブログで公開します)

\(A \le B \le C\) とします．

\(A + B < C\) のとき

\(n \ge 2\) で \(f(An,Bn,Cn) = 0\) になるので，\(z = 0\) であり，答えは \(1\) です．

\(A + B = C\) のとき

c と c の間にほぼ \(1\) 個ずつ a や b を挟まないといけないことから，具体的に \(f(An,Bn,Cn) = \left(2 + \frac{2AB}{C} n\right) \binom{Cn}{An}\) と計算できます．Stirling の近似により \(f(An,Bn,Cn) = \Theta\left( \left( \dfrac{C^C}{A^A B^B} \right)^n n^{1/2} \right)\) が得られます．

\(A + B > C\) のとき

https://arxiv.org/abs/0803.2914 などが参考になります．

連立方程式を解くかまたは包除原理により，母関数が \(\sum_{a,b,c\ge0} f(a,b,c) x^a y^b z^c = \dfrac{(1+x)(1+y)(1+z)}{1-xy-yz-zx-2xyz}\) と求まります (\(f(0,0,0)\) などの定義により分子が変わりますが影響ありません)．これを \(P/Q\) とおきます．

母関数の特異点，すなわち \(Q(x,y,z) = 0\) となる点であって，\(|x|^{-A} |y|^{-B} |z|^{-C}\) を最小化する点が効いてきて，適切な条件下でその値が指数の底になることが知られています．上からの評価は比較的簡単で，特異点を含まない円周において Cauchy の積分公式により

\[[x^{An} y^{Bn} z^{Cn}] (P/Q) = (1/2\pi i)^3 \iiint_{|x|=r,|y|=s,|z|=t} (P/Q) x^{-An-1} y^{-Bn-1} z^{-Cn-1} dxdydz = O((r^{-A} s^{-B} t^{-C})^n)\]

となるためです (下からの評価はもう少し煩雑です)．

Lagrange の未定乗数法によって最適な特異点が \((x, y, z) = \left(\dfrac{(C+A-B)(A+B-C)}{2A(B+C-A)}, \dfrac{(A+B-C)(B+C-A)}{2B(C+A-B)}, \dfrac{(B+C-A)(C+A-B)}{2C(A+B-C)}\right)\) であると計算でき，答えは \(\dfrac{2^{A+B+C} A^A B^B C^C}{(B+C-A)^{B+C-A} (C+A-B)^{C+A-B} (A+B-C)^{A+B-C}}\) です．なおオーダーの多項式部分は \(n^{-1}\) です．