Como configurar sampling no Data Stream
Ao configurar um stream e escolher associar todos os seus domínios, você pode configurar a opção de Sampling para filtrar a porcentagem de dados que será transmitida. Essa é uma opção viável para reduzir os custos da coleta e análise de dados.
- Acesse o Azion Console > Data Stream.
- Para configurar o stream, siga as etapas em Como configurar as main settings do Data Stream.
- Em Domains > Options, escolha All Current and Future Domains. Isso associará todos os domínios atuais e futuros da conta a este stream.
- Em Sampling (%), adicione o valor da porcentagem de dados que deseja transmitir, de
0
a100
. Exemplo:60
.- O Data Stream coletará dados aleatoriamente de acordo com a porcentagem escolhida.
- Finalize a configuração da seção Destination.
- Clique no botão Save.
- Acesse o Real-Time Manager > Data Stream.
- Para configurar o stream, siga as etapas em Como configurar as main settings do Data Stream.
- Em Options, escolha All Domains. Isso associará todos os domínios atuais e futuros da conta a este stream.
- Em Sampling (%), adicione o valor da porcentagem de dados que deseja transmitir, de
0
a100
. Exemplo:60
.- O Data Stream coletará dados aleatoriamente de acordo com a porcentagem escolhida.
- Finalize a configuração da seção Destination.
- Clique no botão Save.
Para esta seção, você estará criando um stream com um conector Apache Kafka via API. Veja outras opções de conectores na tabela Data Stream Endpoints.
- Execute a seguinte requisição
GET
em seu terminal, substituindo[VALOR DO TOKEN]
pelo seu token pessoal:
curl --location 'https://api.azionapi.net/data_streaming/streamings' \--header 'Accept: application/json; version=3' \--header 'Authorization: Token [TOKEN VALUE]' \--header 'Content-Type: application/json' \--data '{ "name": "Kafka Connector", "template_id": 2, "domain_ids": [1656613172], "data_source": "http", "endpoint": { "endpoint_type": "kafka", "kafka_topic": "mykafka.dts.topic", "bootstrap_servers": "infra.my.net:9094,infra.my.net:9094" }, "all_domains": true, "sampling_percentage": 60}'
- Você receberá uma resposta semelhante a esta:
{ "results": { "id": 1594, "name": "Kafka Connector", "template_id": 2, "data_source": "http", "active": true, "endpoint": { "endpoint_type": "kafka", "use_tls": false, "kafka_topic": "mykafka.dts.topic", "bootstrap_servers": "infra.my.net:9094,infra.my.net:9094" }, "all_domains": true, "sampling_percentage": 60 }, "schema_version": 3}
Aguarde alguns minutos para que as alterações se propaguem e seu stream será atualizado.
Contribuidores