数值稳定性

在计算机中执行数学运算需要使用有限的比特位来表达实数，这会引入近似误差。近似误差可以在多步数值运算中传递、积累，从而导致理论上成功的算法失败。因此数值算法设计时要考虑将累计误差最小化。当从头开始实现一个数值算法时，需要考虑数值稳定性。当使用现有的数值计算库（如 tensorflow）时，不需要考虑数值稳定性。