组件库介绍

1.基础组件

类名 功能 说明 示例
MLP 多层感知机 可定制激活函数、initializer、Dropout、BN等 案例1
Highway 类似残差链接 可用来对预训练embedding做增量微调 highway network
Gate 门控 多个输入的加权求和 Cross Decoupling Network
PeriodicEmbedding 周期激活函数 数值特征Embedding 案例5
AutoDisEmbedding 自动离散化 数值特征Embedding dlrm_on_criteo_with_autodis.config
NaryDisEmbedding N进制编码 数值特征Embedding dlrm_on_criteo_with_narydis.config
TextCNN 文本卷积 提取文本序列的特征 text_cnn_on_movielens.config

备注：Gate组件的第一个输入是权重向量，后面的输入拼凑成一个列表，权重向量的长度应等于列表的长度

2.特征交叉组件

类名 功能 说明 示例
FM 二阶交叉 DeepFM模型的组件 案例2
DotInteraction 二阶内积交叉 DLRM模型的组件 案例4
Cross bit-wise交叉 DCN v2模型的组件 案例3
BiLinear 双线性 FiBiNet模型的组件 fibinet_on_movielens.config
FiBiNet SENet & BiLinear FiBiNet模型 fibinet_on_movielens.config

3.特征重要度学习组件

类名 功能 说明 示例
SENet 建模特征重要度 FiBiNet模型的组件 MMoE
MaskBlock 建模特征重要度 MaskNet模型的组件 Cross Decoupling Network
MaskNet 多个串行或并行的MaskBlock MaskNet模型 DBMTL
PPNet 参数个性化网络 PPNet模型 PPNet

4. 序列特征编码组件

类名 功能 说明 示例
DIN target attention DIN模型的组件 DIN_backbone.config
BST transformer BST模型的组件 BST_backbone.config
SeqAugment 序列数据增强 crop, mask, reorder CL4SRec
Attention Dot-product attention Transformer模型的组件
MultiHeadAttention Multi-head attention Transformer模型的组件
TransformerBlock Transformer layer Transformer模型的组件
TransformerEncoder Transformer encoder Transformer模型的组件
TextEncoder BERT 模型 类似BERT模型

5. 多目标学习组件

类名 功能 说明 示例
MMoE Multiple Mixture of Experts MMoE模型的组件 案例8
AITMTower AITM模型的一个tower AITM模型的组件 AITM

6. 辅助损失函数组件

类名 功能 说明 示例
AuxiliaryLoss 用来计算辅助损失函数 常用在自监督学习中 案例7

组件详细参数

1.基础组件

  • MLP （多层感知机）

参数 类型 默认值 说明
hidden_units list 各隐层单元数
dropout_ratio list 各隐层dropout rate
activation str relu 每层的激活函数
use_bn bool true 是否使用batch normalization
use_final_bn bool true 最后一层是否使用batch normalization
use_bias bool false 是否使用偏置项
use_final_bias bool false 最后一层是否使用偏置项
final_activation str relu 最后一层的激活函数
initializer str he_uniform 权重初始化方法，参考keras Dense layer
use_bn_after_activation bool false 是否在激活函数之后做batch norm

  • HighWay

参数 类型 默认值 说明
emb_size uint32 None embedding维度
activation str gelu 激活函数
dropout_rate float 0 dropout rate
init_gate_bias float -3.0 门控网络的bias初始值
num_layers int 1 网络层数

  • PeriodicEmbedding

参数 类型 默认值 说明
embedding_dim uint32 embedding维度
sigma float 初始化自定义参数时的标准差，效果敏感、小心调参
add_linear_layer bool true 是否在embedding之后添加额外的层
linear_activation str relu 额外添加的层的激活函数
output_tensor_list bool false 是否同时输出embedding列表
output_3d_tensor bool false 是否同时输出3d tensor, output_tensor_list=true时该参数不生效

  • AutoDisEmbedding

参数 类型 默认值 说明
embedding_dim uint32 embedding维度
num_bins uint32 虚拟分桶数量
keep_prob float 0.8 残差链接的权重
temperature float softmax函数的温度系数
output_tensor_list bool false 是否同时输出embedding列表
output_3d_tensor bool false 是否同时输出3d tensor, output_tensor_list=true时该参数不生效

  • NaryDisEmbedding

参数 类型 默认值 说明
embedding_dim uint32 embedding维度
carries list N-ary 数值特征需要编码的进制列表
multiplier float 1.0 针对float类型的特征，放大multiplier倍再取整后进行进制编码
intra_ary_pooling string sum 同一进制的不同位的数字embedding如何聚合成最终的embedding, 可选：sum, mean
num_replicas uint32 1 每个特征输出多少个embedding表征
output_tensor_list bool false 是否同时输出embedding列表
output_3d_tensor bool false 是否同时输出3d tensor, output_tensor_list=true时该参数不生效

备注：该组件依赖自定义Tensorflow OP，可能在某些版本的TF上无法使用

  • TextCNN

参数 类型 默认值 说明
num_filters list 卷积核个数列表
filter_sizes list 卷积核步长列表
activation string relu 卷积操作的激活函数
pad_sequence_length uint32 序列补齐或截断的长度
mlp MLP protobuf message

备注：pad_sequence_length 参数必须要配置，否则模型predict的分数可能不稳定

2.特征交叉组件

  • FM

参数 类型 默认值 说明
use_variant bool false 是否使用FM的变体：所有二阶交叉项直接输出，而不求和

  • DotInteraction

参数 类型 默认值 说明
self_interaction bool false 是否运行特征自己与自己交叉
skip_gather bool false 一个优化开关，设置为true，可以提高运行速度，但需要占用更多的内存空间

  • Cross

参数 类型 默认值 说明
projection_dim uint32 None 使用矩阵分解降低计算开销，把大的权重矩阵分解为两个小的矩阵相乘，projection_dim是第一个小矩阵的列数，也是第二个小矩阵的行数
diag_scale float 0 used to increase the diagonal of the kernel W by diag_scale, that is, W + diag_scale * I, where I is an identity matrix
use_bias bool true whether to add a bias term for this layer.
kernel_initializer string truncated_normal Initializer to use on the kernel matrix
bias_initializer string zeros Initializer to use on the bias vector
kernel_regularizer string None Regularizer to use on the kernel matrix
bias_regularizer string None Regularizer to use on bias vector

  • Bilinear

参数 类型 默认值 说明
type string interaction 双线性类型
use_plus bool true 是否使用plus版本
num_output_units uint32 输出size

  • FiBiNet

参数 类型 默认值 说明
bilinear Bilinear protobuf message
senet SENet protobuf message
mlp MLP protobuf message

3.特征重要度学习组件

  • SENet

参数 类型 默认值 说明
reduction_ratio uint32 4 隐层单元数量缩减倍数
num_squeeze_group uint32 2 压缩分组数量
use_skip_connection bool true 是否使用残差连接
use_output_layer_norm bool true 是否在输出层使用layer norm

  • MaskBlock

参数 类型 默认值 说明
output_size uint32 输出层单元数
reduction_factor float 隐层单元数缩减因子
aggregation_size uint32 隐层单元数
input_layer_norm bool true 输入是否需要做layer norm
projection_dim uint32 用两个小矩阵相乘代替原来的输入-隐层权重矩阵，配置小矩阵的维数

  • MaskNet

参数 类型 默认值 说明
mask_blocks list MaskBlock结构列表
use_parallel bool true 是否使用并行模式
mlp MLP 可选 顶部mlp

  • PPNet

参数 类型 默认值 说明
mlp MLP mlp 配置
gate_params GateNN 参数个性化Gate网络的配置
mode string eager 配置参数个性化是作用在MLP的每个layer的输入上还是输出上，可选：[eager, lazy]
full_gate_input bool true 是否需要添加stop_gradient之后的mlp的输入作为gate网络的输入

其中，GateNN的参数如下：

参数 类型 默认值 说明
output_dim uint32 mlp前一层的输出units数 Gate网络的输出维度，eager模式下必须要配置为mlp第一层的输入units数
hidden_dim uint32 output_dim 隐层单元数
dropout_rate float 0.0 隐层dropout rate
activation str relu 隐层的激活函数
use_bn bool true 隐层是否使用batch normalization

4. 序列特征编码组件

  • SeqAugment (序列数据增强)

参数 类型 默认值 说明
mask_rate float 0.6 被mask掉的token比率
crop_rate float 0.2 裁剪保留的token比率
reorder_rate float 0.6 shuffle的子序列长度占比

  • DIN

参数 类型 默认值 说明
attention_dnn MLP attention unit mlp
need_target_feature bool true 是否返回target item embedding
attention_normalizer string softmax softmax or sigmoid

  • BST

参数 类型 默认值 说明
hidden_size int transformer 编码层单元数
num_hidden_layers int transformer层数
num_attention_heads int transformer head数
intermediate_size int transformer中间层单元数
hidden_act string gelu 隐藏层激活函数
hidden_dropout_prob float 0.1 隐藏层dropout rate
attention_probs_dropout_prob float 0.1 attention层dropout rate
max_position_embeddings int 512 序列最大长度
use_position_embeddings bool true 是否使用位置编码
initializer_range float 0.2 权重参数初始值的区间范围
output_all_token_embeddings bool true 是否输出所有token embedding
target_item_position string head target item的插入位置，可选：head, tail, ignore
reserve_target_position bool true 是否为target item保留一个位置

  • Attention

Dot-product attention layer, a.k.a. Luong-style attention.

The calculation follows the steps:

  1. Calculate attention scores using query and key with shape (batch_size, Tq, Tv).

  2. Use scores to calculate a softmax distribution with shape (batch_size, Tq, Tv).

  3. Use the softmax distribution to create a linear combination of value with shape (batch_size, Tq, dim).

参数 类型 默认值 说明
use_scale bool False If True, will create a scalar variable to scale the attention scores.
scale_by_dim bool Fasle whether to scale by dimension
score_mode string dot Function to use to compute attention scores, one of {"dot", "concat"}. "dot" refers to the dot product between the query and key vectors. "concat" refers to the hyperbolic tangent of the concatenation of the query and key vectors.
dropout float 0.0 Float between 0 and 1. Fraction of the units to drop for the attention scores.
seed int None A Python integer to use as random seed incase of dropout.
return_attention_scores bool False if True, returns the attention scores (after masking and softmax) as an additional output argument.
use_causal_mask bool False Set to True for decoder self-attention. Adds a mask such that position i cannot attend to positions j > i. This prevents the flow of information from the future towards the past.

  • inputs: List of the following tensors: - query: Query tensor of shape (batch_size, Tq, dim). - value: Value tensor of shape (batch_size, Tv, dim). - key: Optional key tensor of shape (batch_size, Tv, dim). If not given, will use value for both key and value, which is the most common case.

  • output: - Attention outputs of shape (batch_size, Tq, dim). - (Optional) Attention scores after masking and softmax with shape (batch_size, Tq, Tv).

  • MultiHeadAttention

参数 类型 默认值 说明
num_heads uint32 无 Number of attention heads.
key_dim uint32 Size of each attention head for query and key.
value_dim uint32 Size of each attention head for value.
dropout float 0.0 Dropout probability.
use_bias bool true whether the dense layers use bias vectors/matrices.
return_attention_scores bool false whether the output should be (attention_output, attention_scores)
use_causal_mask bool false whether to apply a causal mask to prevent tokens from attending to future tokens (e.g., used in a decoder Transformer).
output_shape uint32 The expected shape of an output tensor, besides the batch and sequence dims. If not specified, projects back to the query feature dim (the query input's last dimension).
kernel_initializer string Initializer for dense layer kernels.
bias_initializer string Initializer for dense layer biases.

  • TransformerBlock

Transformer encoder 的其中一个layer。

参数 类型 默认值 说明
hidden_size int transformer 编码层单元数
num_attention_heads int transformer head数
intermediate_size int transformer中间层单元数
hidden_act string relu 隐藏层激活函数
hidden_dropout_prob float 0.1 隐藏层dropout rate
attention_probs_dropout_prob float 0.0 attention层的dropout rate

  • TransformerEncoder

参数 类型 默认值 说明
vocab_size uint32 词汇表大小
hidden_size uint32 transformer 编码层单元数
num_hidden_layers uint32 transformer层数
num_attention_heads uint32 transformer head数
intermediate_size uint32 transformer中间层单元数
hidden_act string relu 隐藏层激活函数
hidden_dropout_prob float 0.1 隐藏层dropout rate
attention_probs_dropout_prob float 0.0 attention层的dropout rate
max_position_embeddings uint32 512 序列最大长度
output_all_token_embeddings bool true 是否输出所有token embedding

  • TextEncoder

BERT模型结构

参数 类型 默认值 说明
transformer TransformerEncoder 无 transformer 子组件的配置
separator string ' ' 文本分隔符
vocab_file string 无 词汇表文件路径，不设置时使用hash获得token id
default_token_id int32 0 Out of vocabulary 的token的默认id

5. 多任务学习组件

  • MMoE

参数 类型 默认值 说明
num_task uint32 任务数
num_expert uint32 0 expert数量
expert_mlp MLP 可选 expert的mlp参数

  • AITMTower

参数 类型 默认值 说明
project_dim uint32 可选 attention Query, Key, Value的维度
stop_gradient bool True 是否需要停用对依赖的输入的梯度
transfer_mlp MLP transfer的mlp参数

6. 计算辅助损失函数的组件

  • AuxiliaryLoss

参数 类型 默认值 说明
loss_type string 损失函数类型，包括：l2_loss, nce_loss, info_nce
loss_weight float 1.0 损失函数权重
temperature float 0.1 info_nce & nec loss 的参数
其他 根据loss_type决定