Quantidade de CSV

[evair.souza]

Bom dia, existe uma quantidade de CSV que o PowerBI pode ler ? por exemplo, tenho 50 CSV em uma pasta, cada CSV contém em torno de 100 mil linhas para cada CSV, é possivel ler a pasta que fica esses CSV's ? ou terá alguma hora que isso ficara inviavel ?

 

Necessito disso para uma analise de granularidade baixa.

[Vitor Peralva]

Boa Tarde, @evair.souza!

 

O limite de arquivos está muito atrelado a memória RAM da sua máquina e ao tamanho máximo do seu conjunto de dados (1 GB para conta Pro e 10 GB para premium).

No que tange ao limite de memória RAM, mas você pode contornar isto utilizando apenas uma parte dos seus dados para desenvolver e eliminar o filtro quando publicar.

No que tange ao tamanho máximo do seu conjunto de dados, o Power BI consegue compactar muito bem o arquivo e a adoção do star schema também será o seu auxiliar nesta compactação.

 

No entanto, embora algo seja possível, não quer dizer que seja a melhor resposta.

Veja que você possui 50 arquivos com cerca de 100.000 linhas cada, o que te gera 5 milhões de linhas que ainda vão ser multiplicadas pelo seu número de colunas.

Se estes dados ainda passam por um processo de transformação dentro do Power Query, isto tende a deixar as suas atualizações lentas.

 

Um dos pontos que deve considerar é se precisa de todo o histórico ou se vai trabalhar sempre com os últimos 36 meses, por exemplo.

Se for crescer a base indefinidamente, para mim o ideal é pensar em um DW e já trazer as informações tratadas dele.

Este é o mundo ideal.

Claro que isto envolve custos, eventualmente a ação de outros setores, etc.

 

Sei que posso ter te deixado um pouco mais confuso do que estava inicialmente.

Mas a resposta para a maioria das perguntas neste campo é DEPENDE.

E para responder com mais assertividade, é preciso se analisar estes e outros aspectos.

[evair.souza]

Me atendeu as dúvidas, sim, o problema que apenas esses arquivos são em torno de 50 dias. conforme você comentou tenho que analisar com outras a necessidade real desses dados, visando que o armazenamento nem sempre é o mais viavel, talvez deixar analytico por 30 dias, e dados agrupados referente ao aos meses anteriores.

 

Novamente, @Vitor Peralva agradeço a sua explicação.

[Igorabdo]

Você pode usar método de agregação das informações.
Ele vai custar memória neste momento.
O melhor mundo como ja comentaram, seria ter estes caras em um repositorio.
Ou, você pode criar um dataset com atualização incremental e depois criar os reports com base neste dataset.

Ou usar dataflows (se tiver capacidade Premium, (Premium, Emb ou PPU) pode fazer incremental).