benchmark介绍

为了验证算法的准确性、帮助用户更好的使用EasyRec，我们做了大量的benchmark测试。我们还提供公开数据集、EasyRec配置文件，供用户更好的理解和使用EasyRec。

单目标数据集

Taobao 数据集介绍

• 该数据集是淘宝展示广告点击率预估数据集，包含用户、广告特征和行为日志。天池比赛链接

• 训练数据表：pai_online_project.easyrec_demo_taobao_train_data

• 测试数据表：pai_online_project.easyrec_demo_taobao_test_data

• 在PAI上面测试使用的资源包括2个parameter server，9个worker，其中一个worker做评估:

  {"ps":{"count":2,
         "cpu":1000,
         "memory":40000},
  "worker":{"count":9,
            "cpu":1000,
            "memory":40000}
  }
  

• 测试结果

model	global_step	best_auc	config
MultiTower	1800	0.614680	taobao_mutiltower.config
DIN	1600	0.617049	din.config
DeepFM	1600	0.580521	deepfm.config
DCN	1500	0.596816	dcn.config
BST	3500	0.566251	bst.config
AutoInt	700	0.605982	autoint.config

Avazu CTR 数据集

• 该数据集是DSP广告公司Avazu在Kaggle平台举办的移动广告点击率预测模型挑战赛中使用的。Click-Through Rate Prediction比赛链接

• 训练数据表：pai_online_project.dwd_avazu_ctr_deepmodel_train

• 测试数据表：pai_online_project.dwd_avazu_ctr_deepmodel_test

多目标数据集

AliCCP 数据集

• 数据集采集自手机淘宝移动客户端的推荐系统日志，其中包含点击和与之关联的转化数据。天池比赛链接

• 训练数据表：pai_online_project.aliccp_sample_train_kv_split_score

• 测试数据表：pai_online_project.aliccp_sample_test_kv_split_score_1000w (只截取了1000万条)

• 在PAI上面测试使用的资源包括2个parameter server，9个worker，其中一个worker做评估:

  {"ps":{"count":2,
         "cpu":1000,
         "memory":40000},
  "worker":{"count":9,
            "cpu":1000,
            "memory":40000}
  }
  

• 测试结果

model	global_step	ctr auc	masked cvr auc	ctcvr auc	训练时间	config
SimpleMultiTask	4100	0.592606		0.6306802	1小时	simple_multi_task.config
MMoE	3100	0.5869702		0.6330008	1小时	mmoe.config
ESMM	800	0.5974812	0.6841141	0.6362526	3小时	esmm.config
PLE	3200	0.5874		0.6159	2小时	ple.config

CENSUS

• CENSUS有48842个样本数据，每个样本14个属性，包括age, occupation, education, income等。样本的标注值为收入水平，例如>50K、<=50K。Census Income数据集链接

• 训练数据表：pai_online_project.census_income_train

• 测试数据表：pai_online_project.census_income_test