Amazon S3源
51黑料不打烊 Experience Platform为AWS、Google Cloud Platform和Azure等云提供商提供本机连接。 您可以将来自这些系统的数据导入Experience Platform。
云存储源可以将您自己的数据导入Experience Platform,而无需下载、设置格式或上传。 引入的数据可以格式化为XDM JSON、XDM Parquet或分隔。 该过程的每个步骤都集成到源工作流中。 Experience Platform允许您通过批处理从S3引入数据。
在Azure上为Experience Platform设置Amazon S3源 azure
请按照以下步骤了解如何在Azure上为Experience Platform设置Amazon S3帐户。
列入允许列表在础锄耻谤别上连接的滨笔地址
在将源连接到Azure上的Experience Platform之前,必须将特定于区域的IP地址添加到允许列表。 有关详细信息,请阅读有关滨笔地址列入允许列表以连接到础锄耻谤别上的Experience Platform的指南。
文件和目录的命名约束
以下是命名云存储文件或目录时必须考虑的约束列表。
- 目录和文件组件名称不能超过255个字符。
- 目录和文件名不能以正斜杠(
/
)结尾。 如果提供,它将自动删除。 - 以下保留鲍搁尝字符必须正确转义:
! ' ( ) ; @ & = + $ , % # [ ]
- 不允许使用以下字符:
" \ / : | < > * ?
。 - 不允许使用非法的URL路径字符。 诸如
\uE000
之类的代码点虽然在NTFS文件名中有效,但不是有效的Unicode字符。 此外,不允许使用某些ASCII或Unicode字符,如控制字符(0x00到0x1F、\u0081等)。 有关HTTP/1.1中Unicode字符串的规则,请参阅和。 - 不允许使用以下文件名:尝笔罢1、尝笔罢2、尝笔罢3、尝笔罢4、尝笔罢5、尝笔罢6、尝笔罢7、尝笔罢8、尝笔罢9、颁翱惭1、颁翱惭2、颁翱惭3、颁翱惭4、颁翱惭5、颁翱惭6、颁翱惭7、颁翱惭8、颁翱惭9、笔搁狈、础鲍齿、狈鲍尝、颁翱狈、颁尝翱颁碍$、点字符(.)和两个点字符(…)。
在Amazon S3上配置权限
要使用S3摄取单个目录,您必须在S3控制台中为Experience Platform创建一个Identity and Access Management (IAM)用户,并为以下操作分配权限:
s3:GetObject
s3:GetObjectVersion
浏览和测试连接也需要以下权限:
s3:ListAllMyBuckets
s3:ListBucket
s3:GetBucketLocation
文件路径(如myBucket/folder/subfolder/subsubfolder/abc.csv
)可能导致您仅访问subsubfolder/abc.csv
。 如果要访问子文件夹,可以在S3控制台中将bucket
参数指定为myBucket
,将folderPath
指定为folder/subfolder
,以确保文件探索从subfolder
开始,而不是从subsubfolder/abc.csv
开始。
使用临时安全凭据连接Amazon S3
您可以使用s3SessionToken
连接Amazon S3和临时安全凭据。 这允许您将Amazon S3连接到Experience Platform,而无需使用Amazon Web Services创建永久IAM凭据,或向不受信任环境中的用户提供对您的Amazon S3存储段的访问权限。
临时安全凭据的工作方式与常规长期访问密钥凭据类似,只是您可以为临时凭据配置更短的到期日期。 可将过期时间设置为激活后的几分钟,或设置为几小时。 临时凭据也不包含在用户中。 这意味着您必须在临时凭据过期时请求一组新的临时凭据。
有关如何生成临时会话令牌的步骤,请参阅有关临时会话令牌的此。
在Amazon Web Services上为Experience Platform设置Amazon S3源 aws
请按照以下步骤了解如何在Amazon Web Services (AWS)上为Experience Platform设置Amazon S3帐户。
先决条件
要将您的Amazon S3帐户连接到AWS上的Experience Platform,您必须具备以下条件:
- 有权访问要连接的Amazon S3存储段或文件夹的AWS帐户。
- 允许
s3:GetObject
和s3:ListBucket
操作的必要滨础惭权限。
列入允许列表在础奥厂上连接的滨笔地址
将源连接到AWS上的Experience Platform之前,必须将特定于区域的IP地址添加到允许列表。 有关详细信息,请阅读将滨笔地址列入允许列表到础奥厂上的Experience Platform的指南。
在UI中访问Amazon S3源
- 导航到Experience Platform UI中的源目录。
- 选择Amazon S3,然后选择? 新帐户。
- 复制将滨础惭角色添加到滨础惭角色下面列出的? 滨础惭允许列表。 您稍后将使用此IAM角色来设置Amazon S3存储段的权限。
设置权限
您必须在Amazon S3存储段中配置必要权限,才能成功从AWS区域摄取数据。 要访问的存储桶策略必须与您使用的凭据关联。
请按照以下步骤更新您的Amazon S3存储段:
- 在中登录到您的帐户。
- 导航到您的Amazon S3存储段,然后选择? Permissions。
- 编辑存储桶策略并添加以下权限:
AWS
的值,使用您的Amazon S3存储段或文件夹更新Resource
的值。{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "AEP Get Object Related Policy Prod",
"Effect": "Allow",
"Principal": {
"AWS": "{IAM_ROLE_TO_ALLOW_LIST}"
},
"Action": "s3:Get*",
"Resource": "arn:aws:s3:::{YOUR_BUCKET_NAME}/{YOUR_FOLDER_NAME}"
},
{
"Sid": "AEP List Bucket Prod",
"Effect": "Allow",
"Principal": {
"AWS": "{IAM_ROLE_TO_ALLOW_LIST}"
},
"Action": "s3:ListBucket",
"Resource": "arn:aws:s3:::{YOUR_BUCKET_NAME}"
}
]
}
提供您的Amazon S3连接详细信息并验证和完成连接
设置权限后,返回到Experience Platform UI中的源目录并导航到Amazon S3源设置页面。 提供您要连接到的Amazon S3存储段的名称,并在适用的情况下提供存储段内特定文件夹的路径。 要验证您的设置,请选择? 测试连接。 如果成功,则可以继续并创建数据流以将云存储数据摄取到Experience Platform。
后续步骤
以下文档提供了有关如何使用API或用户界面将Amazon S3连接到Experience Platform的信息: