回调函数

tf.keras 的回调函数实际上是一个类，一般是在 model.fit 时作为参数指定，用于控制在训练过程开始或者在训练过程结束，在每个 epoch 训练开始或者训练结束，在每个 batch 训练开始或者训练结束时执行一些操作，例如收集一些日志信息，改变学习率等超参数，提前终止训练过程等等。同样地，针对 model.evaluate 或者 model.predict 也可以指定 callbacks 参数，用于控制在评估或预测开始或者结束时，在每个 batch 开始或者结束时执行一些操作，但这种用法相对少见。

大部分时候，keras.callbacks 子模块中定义的回调函数类已经足够使用了，如果有特定的需要，我们也可以通过对 keras.callbacks.Callbacks 实施子类化构造自定义的回调函数。所有回调函数都继承至 keras.callbacks.Callbacks 基类，拥有 params 和 model 这两个属性。

其中 params 是一个 dict，记录了训练相关参数 (例如 verbosity, batch size, number of epochs 等等)。model 即当前关联的模型的引用。此外，对于回调类中的一些方法如 on_epoch_begin,on_batch_end，还会有一个输入参数 logs, 提供有关当前 epoch 或者 batch 的一些信息，并能够记录计算结果，如果 model.fit 指定了多个回调函数类，这些 logs 变量将在这些回调函数类的同名函数间依顺序传递。

内置回调函数

BaseLogger：收集每个 epoch 上 metrics 在各个 batch 上的平均值，对 stateful_metrics 参数中的带中间状态的指标直接拿最终值无需对各个 batch 平均，指标均值结果将添加到 logs 变量中。该回调函数被所有模型默认添加，且是第一个被添加的。
History：将 BaseLogger 计算的各个 epoch 的 metrics 结果记录到 history 这个 dict 变量中，并作为 model.fit 的返回值。该回调函数被所有模型默认添加，在 BaseLogger 之后被添加。
EarlyStopping：当被监控指标在设定的若干个 epoch 后没有提升，则提前终止训练。
TensorBoard：为 Tensorboard 可视化保存日志信息。支持评估指标，计算图，模型参数等的可视化。
ModelCheckpoint：在每个 epoch 后保存模型。
ReduceLROnPlateau：如果监控指标在设定的若干个 epoch 后没有提升，则以一定的因子减少学习率。
TerminateOnNaN：如果遇到 loss 为 NaN，提前终止训练。
LearningRateScheduler：学习率控制器。给定学习率 lr 和 epoch 的函数关系，根据该函数关系在每个 epoch 前调整学习率。
CSVLogger：将每个 epoch 后的 logs 结果记录到 CSV 文件中。
ProgbarLogger：将每个 epoch 后的 logs 结果打印到标准输出流中。

自定义回调函数

可以使用 callbacks.LambdaCallback 编写较为简单的回调函数，也可以通过对 callbacks.Callback 子类化编写更加复杂的回调函数逻辑。

import numpy as np
import pandas as pd
import tensorflow as tf
from tensorflow.keras import layers,models,losses,metrics,callbacks
import tensorflow.keras.backend as K

# 示范使用LambdaCallback编写较为简单的回调函数
import json
json_log = open('./data/keras_log.json', mode='wt', buffering=1)
json_logging_callback = callbacks.LambdaCallback(
    on_epoch_end=lambda epoch, logs: json_log.write(
        json.dumps(dict(epoch = epoch,**logs)) + '\n'),
    on_train_end=lambda logs: json_log.close()
)

# 示范通过Callback子类化编写回调函数（LearningRateScheduler的源代码）
class LearningRateScheduler(callbacks.Callback):

    def __init__(self, schedule, verbose=0):
        super(LearningRateScheduler, self).__init__()
        self.schedule = schedule
        self.verbose = verbose

    def on_epoch_begin(self, epoch, logs=None):
        if not hasattr(self.model.optimizer, 'lr'):
            raise ValueError('Optimizer must have a "lr" attribute.')
        try:
            lr = float(K.get_value(self.model.optimizer.lr))
            lr = self.schedule(epoch, lr)
        except TypeError:  # Support for old API for backward compatibility
            lr = self.schedule(epoch)
        if not isinstance(lr, (tf.Tensor, float, np.float32, np.float64)):
            raise ValueError('The output of the "schedule" function '
                             'should be float.')
        if isinstance(lr, ops.Tensor) and not lr.dtype.is_floating:
            raise ValueError('The dtype of Tensor should be float')
        K.set_value(self.model.optimizer.lr, K.get_value(lr))
        if self.verbose > 0:
            print('\nEpoch %05d: LearningRateScheduler reducing learning '
                 'rate to %s.' % (epoch + 1, lr))

    def on_epoch_end(self, epoch, logs=None):
        logs = logs or {}
        logs['lr'] = K.get_value(self.model.optimizer.lr)

最近更新于 0001-01-01