计算机中表示实数时，几乎总会引入近似误差

下溢 多个操作复合时误差累计可能会导致算法失效 如连乘后可能近似为0 许多函数在参数为0而不是一个很小的正数时才会表现出质的不同 避免被0除 避免取零的对数 log(x))

上溢 如果c是很小的负数，exp(c)) 就会下溢

比如softmax function 当x都等于很小的负数时可能下溢；当x都很大的正数时，exp(c)可能上溢

解决方法：$z=x-max_ix_i$ 简单的代数计算表明，softmax解析上的函数值不会因为从输入向量减去加上标量而改变。 减去$max_ix_i$ 导致exp 最大参数为0，分母至少有一个值为1的项