在深度学习中，经常需要插入一些模块或“小插件”到卷积神经网络（CNN）中以提高网络的性能。以下是一些常见的可以直接在CNN中使用的"小插件"：

1. Batch Normalization：这是一种用于正则化模型的方法，可使每个特征具有相同的规模。这样可以加快训练速度并提高模型的泛化性能。

layer = tf.keras.layers.BatchNormalization()(input)

2. Dropout： 这是一种正则化技术，通过随机关闭网络中的一部分神经元来防止过拟合。

layer = tf.keras.layers.Dropout(rate=0.5)(input)

3. ReLU (Rectified Linear Units)：这是最常用的激活函数，可以解决梯度消失问题。

layer = tf.keras.layers.Activation('relu')(input)

4. Max Pooling：这是一种下采样操作，通常用于减少特征图的尺寸，从而减少计算量。

layer = tf.keras.layers.MaxPooling2D(pool_size=(2, 2))(input)

5. UpSampling：与池化层相反，上采样层用于将特征图的尺寸扩大，常用于分割和生成网络。

layer = tf.keras.layers.UpSampling2D(size=(2, 2))(input)

6. Global Average Pooling：全局平均池化层对每个通道进行平均值计算，用于减少参数数量，防止过拟合。

layer = tf.keras.layers.GlobalAveragePooling2D()(input)

7. Residual Block（残差模块）：这是一种常用的网络结构，通过跳跃连接直接将输入添加到输出，可以有效地解决梯度消失和梯度爆炸问题。

def residual_block(x, num_filters):
    shortcut = x
    x = Conv2D(num_filters, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)
    x = Conv2D(num_filters, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Add()([shortcut, x])
    x = Activation("relu")(x)
    return x

以上的这些小插件可以根据任务特性和需要选择使用。