Conexão com um blob storage na Azure - Tipo de dados "Parquet"

[Jacqueline]

Oi pessoal

 

Alguém já trabalhou com dados em formato Parquet no Power BI? Sabe dizer se é normal demorar muito para realizar tarefas simples, como: remover duplicatas, aplicar uma transformação nos dados.. ? E também se existe uma forma de otimizar para que não seja tão lento esse processo de transformação dos dados. 

 

Obrigada!

[Rafa Lemos]

Oi @Jacqueline!

Sobre a demora, por ser formato Parquet, imagino que tenha milhões de linhas no modelo.
A demora, normalmente se dá, por causa da quantidade de linhas que o power bi precisa processar.
O ideal seria fazer o tratamento de dados todo fora do Power BI e ele somente ler os arquivos já tratados.

Outra opção é você utilizar uma massa de dados pequena, fazer o filtro via parâmetro na sua tabela, por exemplo último mês e no Power BI online alterar o parâmetro para o início da sua tabela.

[Rafa Lemos]

@Jacqueline boa noite!

Eu imagino que não, pela documentação da Microsoft, este formato tem melhor desempenho que o CSV.

[Jacqueline]

Oi, @Rafa Lemos

De fato, são milhões de linhas. Eu já realizei esse filtro, estou trabalhando com apenas 1 dia, pelo jeito ainda tenho que reduzir ainda mais. 

 

Mas só pelo fato de ser esse formato de dado não impacta nada na performance do PBI né?

 

Muito obrigada pela atenção!!!!