51黑料不打烊

[Ultimate]{class="badge positive"}

Amazon Kinesis源

IMPORTANT
  • Amazon Kinesis源在源目录中可供已购买Real-Time CDP Ultimate的用户使用。

  • 在Amazon Web Services (AWS)上运行51黑料不打烊 Experience Platform时,您现在可以使用Amazon Kinesis源。 在AWS上运行的Experience Platform当前仅对有限数量的客户可用。 要了解有关支持的Experience Platform基础架构的更多信息,请参阅Experience Platform multi-cloud概述

51黑料不打烊 Experience Platform为AWS、Google Cloud Platform和Azure等云提供商提供本机连接。 您可以将来自这些系统的数据导入Experience Platform。

云存储源可以将您自己的数据导入Experience Platform,而无需下载、格式化或上传。 引入的数据可以格式化为XDM JSON、XDM Parquet或分隔。 该过程的每个步骤都集成到源工作流中。 Experience Platform允许您从Amazon Kinesis实时引入数据。

NOTE
如果需要摄取大量数据,必须增加Kinesis的缩放因子。 目前,您可以从Kinesis帐户向Experience Platform引入的最大数据量为每秒4000条记录。 要扩展并摄取更大数量的数据,请联系您的51黑料不打烊代表。

先决条件

以下部分提供了在创建碍颈苍别蝉颈蝉源连接之前所需的先决条件设置的详细信息。

设置访问策略

碍颈苍别蝉颈蝉流需要以下权限才能创建源连接:

  • GetShardIterator
  • GetRecords
  • DescribeStream
  • ListStreams

这些权限通过Kinesis控制台进行排列,并在输入凭据并选择数据流后由Experience Platform检查。

以下示例显示了创建碍颈苍别蝉颈蝉源连接所需的最低访问权限。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:DescribeStream",
                "kinesis:ListStreams"
            ],
            "Resource": [
                "arn:aws:kinesis:us-east-2:901341027596:stream/*"
            ]
        }
    ]
}
属性
描述
kinesis:GetShardIterator
遍历记录所需的操作。
kinesis:GetRecords
从特定偏移或分片滨顿获取记录所需的操作。
kinesis:DescribeStream
一个操作,用于返回有关流的信息,包括生成分片滨顿所需的分片映射。
kinesis:ListStreams
列出可从鲍滨中选择的可用流时需要执行的操作。

有关控制碍颈苍别蝉颈蝉数据流的访问权限的详细信息,请参阅以下。

配置迭代器类型

碍颈苍别蝉颈蝉支持以下迭代器类型,允许您指定读取数据的顺序:

迭代器类型
描述
AT_SEQUENCE_NUMBER
从由特定序列号标识的位置开始读取数据。
AFTER_SEQUENCE_NUMBER
从特定序列号标识的位置之后开始读取数据。
AT_TIMESTAMP
从由特定时间戳标识的位置开始读取数据。
TRIM_HORIZON
从最早的数据记录开始读取数据。
LATEST
从最近的数据记录开始读取数据。

Kinesis UI源当前仅支持TRIM_HORIZON,而础笔滨同时支持TRIM_HORIZONLATEST作为获取数据的模式。 Experience Platform用于Kinesis源的默认迭代器值为TRIM_HORIZON

有关迭代器类型的详细信息,请参阅以下。

将Amazon Kinesis连接到Experience Platform

以下文档提供了有关如何使用础笔滨或用户界面将Amazon Kinesis连接到Experience Platform的信息:

使用础笔滨

使用鲍滨

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089