Conexão de Dados com API de Atualização Diaria

[Matheus Marques]

Pessoal,

Preciso me conectar a uma API que traz dados de cada dia.

Contudo, preciso guardar o histórico dos dados, para fazer as analises no Power BI.

No caso, a API sempre traz o dado de cada dia (hoje vem o dado de hoje, e amanhã de amanhã, e assim vai), preciso guardar/armazenar esses dados em um banco de dados ou arquivo csv/xlsx, pra levar tudo no Power BI e fazer as analises, também preciso que esse PBI atualize automaticamente, sendo assim, imagino que esses dados precisam estar em um banco de dados na nuvem.

Alguém já trabalhou com algo parecido, e pode indicar algum caminho a seguir? Tentei já por atualização incremental para ver se dava certo de salvar direto no conjunto de dados no Power BI, mas não está dando certo, será que seria alguma configuração que fiz ou a atualização incremental não funciona dessa forma mesmo?

Agradeço desde já a ajuda!

Abraço!

[Matheus Marques]

Bom dia, pessoal!

Me desculpe a demora em retornar aqui.

Muito obrigado @Rafa Lemos e @Sawaya assisti a sua live, mas procurei também de outras maneiras, e acabei conseguindo via fluxo de dados, onde ele salva em um histórico e vai me trazendo os dados novos de cada dia, e sempre salvando, tudo via fluxo de dados mesmo.

A opção via Gateway Pessoal, na empresa onde trabalho não é utilizado, então via fluxo de dados acabou resolvendo legal.

@Roseane podemos encerrar o tópico sim.

Obrigado mais uma vez pela ajuda!! 

[Rafa Lemos]

@Matheus Marques bom dia!

Cara, tenho um modelo de script em que pode R que pode te ajudar:

let
    Source = Table.FromRows(Json.Document(Binary.Decompress(Binary.FromText("XdBbCgAhCAXQvfgdQ6k9Zi0x+9/GVILJxQ/xoCLOSfKUFZkp0UqFvmQmuzjGbux9Ek3M9JjufQbNgREEQREqQkPoCAPhjVDvYcNBEDRC85GSHThCvx32unFh/ej7AQ==", BinaryEncoding.Base64), Compression.Deflate)), let _t = ((type nullable text) meta [Serialized.Text = true]) in type table [CONTA = _t, CODIGOESTRUTURA = _t]),
    #"Changed Type" = Table.TransformColumnTypes(Source,{{"CONTA", Int64.Type}, {"CODIGOESTRUTURA", Int64.Type}}),
    Data = Text.From(Date.Year(DateTime.FixedLocalNow()))&"."&Text.From(Date.Month(DateTime.FixedLocalNow()))&"."&Text.From(Date.Day(DateTime.FixedLocalNow())),
    Custom1 = "C://Temp//"&Data&"_testeOnline.csv",
    #"Run R script" = R.Execute("# 'dataset' holds the input data for this script#(lf)write.table(dataset, file = ""C://Temp//"&Data&"_testeOnline.csv"")",[dataset=#"Changed Type"]),
    NovaEtapa =  #"Changed Type"
in
    NovaEtapa

Aqui ele salvará o arquivo na pasta TEMP, com data do dia da atualização e o nome "_testeOnline.csv".

 

Você pode copiar esse script e colar no Editor Avançado de uma consulta nula que é para funcionar.. rsrs

Para atualização online você precisa ter o Gateway Pessoal instalado, com o padrão (on premises) o script não funciona no Power BI online.

 

Eu faria um Power BI para rodar esse script e outro para ser o do relatório.
Nesse caso, você até consegue fazer carga incremental no Power BI online.

[Sawaya]

Oi, @Matheus Marques!

 

Junto à solução do @Rafa Lemos, você pode também dar uma olhada na live que eu gravei com o Leo para poder fazer suas consultas usando o PowerBI e/ou Pyhton. Porém, como os dados de ontem não podem ser consultados ontem, salvar os dados todos em um único CSV ou em arquivos separados dentro de uma pasta vai ser a melhor opção, de fato:

 https://aprendapowerbi.club.hotmart.com/lesson/gOpgryxq7J/live-3-paulo-sawaya-obtendo-dados-via-apis-no-power-bi-e-python 

 

Lembrando que para poder usar scripts em Python ou R com a atualização agendada, é necessário usar o Gateway Pessoal do Power BI.

 

Um abraço!
Att,

Paulo Sawaya

[Roseane]

@Matheus Marques boa noite, alguma das soluções propostas te atende? podemos encerrar o tópico?