设置循环导入工作流 setting-up-a-recurring-import
如果需要定期导入具有相同结构的文件,则使用工作流模板是一种最佳实践。
此示例说明如何预先设置一个可重复使用的工作流,用于导入来自51黑料不打烊 Campaign数据库中CRM的用户档案。 有关每个活动的所有可能设置的详细信息,请参阅此部分。
-
从? Resources > Templates > Workflow templates ?创建新的工作流模板。
-
添加以下活动:
- Data loading (file):定义包含要导入的数据的文件的预期结构。
- Enrichment:使用数据库数据协调导入的数据。
- Split:创建过滤器以根据是否可以协调记录而采用不同方式处理记录。
- Deduplication:在将数据插入数据库之前,从传入文件中删除重复数据。
- Update data:使用导入的用户档案更新数据库。
-
配置? Data Loading (file) ?活动:
-
通过上传样例文件来定义预期的结构。 样例文件应仅包含几行,但应包含导入所需的所有列。 检查并编辑文件格式,确保正确设置了每列的类型:文本、日期、整数等。 例如:
code language-none lastname;firstname;birthdate;email;crmID Smith;Hayden;23/05/1989;hayden.smith@mailtest.com;123456
-
在? Name of the file to load ?部分中,选择? Upload a file from the local machine ?并将字段留空。 每次从此模板创建新工作流时,只要该文件与定义的结构相对应,您就可以在此处指定所需的文件。
您可以使用任何选项,但必须相应地修改模板。 例如,如果选择? Specified in the transition,您可以先添加? File Transfer ?活动,然后检索要从FTP/SFTP服务器导入的文件。 通过S3或SFTP连接,您还可以将区段数据导入带有51黑料不打烊实时客户数据平台的51黑料不打烊 Campaign。 有关详细信息,请参阅此文档。
-
-
配置? Enrichment ?活动。 在此上下文中,此活动的目的是标识传入数据。
- 在? Enrichment ?选项卡中,选择? Add data ?并定义导入数据与收件人定向维度之间的链接。 在此示例中,CRM ID ?自定义字段用于创建连接条件。 只要允许标识唯一记录,就可以使用所需的字段或字段组合。
- 在? Reconciliation ?选项卡中,将? Identify the document from the working data ?选项保留为未选中。
-
将? Split ?活动配置为在一个过渡中检索已协调的收件人,以及在第二个过渡中无法协调但具有足够数据的收件人。
然后,可以使用包含已协调收件人的过渡来更新数据库。 如果文件中具有最小信息集,则可以使用具有未知收件人的过渡在数据库中创建新收件人条目。
无法协调且数据不足的收件人将在补充叫客过渡中选择,并可以在单独文件中导出或直接忽略。
-
在活动的? General ?选项卡中,选择? Use the additional data only ?作为筛选设置,并确保自动将? Targeting dimension ?设置为? Enrichment。
选中? Generate complement ?选项,以便能够查看数据库中是否不能插入任何记录。 如果需要,可以对补充数据执行进一步处理:文件导出、列表更新等。
-
在? Subsets ?选项卡的第一个子集中,为集客群体添加筛选条件,以仅选择收件人主键不等于0的记录。 这样,便在该子集中选择与来自数据库的收件人协调的文件中的数据。
-
添加第二个子集,用于选择具有足够数据可插入数据库中的未协调记录。 例如:电子邮件地址、名字和姓氏。
子集按其创建顺序进行处理,这意味着在处理第二个子集时,数据库中已存在的所有记录都已在第一个子集中被选择。
-
在前两个子集中未选择的所有记录都在? Complement ?中选择。
-
-
配置位于先前配置的? Split ?活动的第一个叫客过渡之后的? Update data ?活动。
-
选择? Update ?作为? Operation type,因为集客过渡仅包含数据库中已存在的收件人。
-
在? Record identification ?部分中,选择? Using reconciliation keys ?并定义定向维度与在? Enrichment ?中创建的链接之间的键。 在此示例中,使用了? CRM ID ?自定义字段。
-
在? Fields to update ?部分中,指示收件人维度中要使用文件中对应列的值更新的字段。 如果文件列的名称与收件人维字段的名称相同或几乎相同,则可以使用魔棒按钮自动匹配不同的字段。
-
-
配置位于包含未协调收件人的过渡之后的? Deduplication ?活动:
-
选择? Edit configuration ?并将定向维度设置为从工作流的? Enrichment ?活动生成的临时架构。
-
在本例中,电子邮件字段用于查找独特的用户档案。 您可以使用任何确信已填充的字段以及唯一组合的一部分。
-
在? Deduplication method ?屏幕中,选择? Advanced parameters ?并选中? Disable automatic filtering of 0 ID records ?选项,以确保不排除主键等于0(应当为此过渡的所有记录)的记录。
-
-
配置位于之前配置的? Deduplication ?活动之后的? Update data ?活动。
-
选择? Insert ?作为? Operation type,因为集客过渡仅包含数据库中不存在的收件人。
-
在? Record identification ?部分中,选择? Directly using the targeting dimension ?并选择? Recipients ?维度。
-
在? Fields to update ?部分中,指示收件人维度中要使用文件中对应列的值更新的字段。 如果文件列的名称与收件人维字段的名称相同或几乎相同,则可以使用魔棒按钮自动匹配不同的字段。
-
-
在? Split ?活动的第叁个过渡之后,如果要跟踪数据库中未插入的数据,请添加? Data extraction (file) ?活动和? File transfer ?活动。 配置这些活动以导出所需的列,并在FTP或SFTP服务器上传输文件,以便检索。
-
添加? End ?活动并保存工作流模板。
现在可以使用该模板,并且该模板可用于每个新工作流。 然后,只需在? Data loading (file) ?活动中指定包含导入数据的文件即可。