Ir para conteúdo
  • 0

Atualização Incremental


WENSLEY DYCKSON SILVA SANT
Ir para solução Solucionado por Rafa Lemos ,

Pergunta

  • Membros

Fala galera, tudo de bom?

Turma, andei pesquisando e não conseguir achar nada, então peço apoio de todos.

Meus arquivos do PBI estão lotado no Google Driver(G:)

image.png.8b806696a26b529a2f047e7d140da63d.png

 

Todos os dados estão em (.CSV), fiz todo o processo no PQ apliquei o RangeStart e RangeEnd no filtro(entre),conforme abaixo.

image.png.3359dea8aa955b7bd30efe533d4049dd.png

image.png.6dda9de366aaedce8c47a7eb69ef5195.png

 

Organizo meus arquivos com (aaaa/mm), pra ter controle.

Ainda no PQ em "Transformar Arquivo", fiz uma transformação mesclando a "DATA DE EMISSÃO" com a "HORA DE EMISSÃO" mudando para "Data Emissão e Hora".

Carreguei os dados, criei um matriz pra ter ctza que filtrou conforme as RANGES, em atualização incremental, configurei conforme imagem abaixo.

image.png.d31e4b688c7726c2590b0d5d4a703e05.png 

 

Beleza, publiquei o PBI e mandei atualizar no PBIOnline, agora aparece esse erro.

Erro de fonte de dados: {"error":{"code":"DM_GWPipeline_Gateway_MashupDataAccessError","pbi.error":{"code":"DM_GWPipeline_Gateway_MashupDataAccessError","parameters":{},"details":[{"code":"DM_ErrorDetailNameCode_UnderlyingErrorCode","detail":{"type":1,"value":"-2147467259"}},{"code":"DM_ErrorDetailNameCode_UnderlyingErrorMessage","detail":{"type":1,"value":"Não havia elementos suficientes na enumeração para concluir a operação."}},{"code":"DM_ErrorDetailNameCode_UnderlyingHResult","detail":{"type":1,"value":"-2147467259"}},{"code":"Microsoft.Data.Mashup.ValueError.Detail","detail":{"type":1,"value":"#table({\"Content\", \"Name\", \"Date modified\", \"Attributes\"}, {})"}},{"code":"Microsoft.Data.Mashup.ValueError.Reason","detail":{"type":1,"value":"Expression.Error"}}],"exceptionCulprit":1}}}
Cluster URI: WABI-BRAZIL-SOUTH-B-PRIMARY-redirect.analysis.windows.net
ID da atividade: 3106604c-b5e8-488e-a0fe-d0a05c40f83a
Solicitar ID: 94fe0fc9-4f5f-8e30-5acb-926317c44193
Hora: 2021-04-24 19:45:42Z

 

OBS: Esse usuário está usando o PRO gratuito por 60 dias.

Fiz algo de errado?

Link para o comentário
Compartilhar em outros sites

10 respostass a esta questão

Posts Recomendados

  • 0
  • Membros
13 horas atrás, Rafa Lemos disse:

Bom dia, amigo.

Problema solucionado, agora apareceu outro.

Pedi um auxilio para o mestre.

Link para o comentário
Compartilhar em outros sites

  • 1
  • Membros
12 horas atrás, Rafa Lemos disse:

@WENSLEY DYCKSON SILVA SANT boa noite!

Cara, é mais fácil promover a primeira linha em cabeçalho e depois renomear a primeira coluna.

Segue exemplo de como tratar na sua base.

TesteIncremetral.pbix 437 kB · 0 downloads

Bom dia, 

Amigo, a cabeça estava batendo atoa, sô analisando o seu retorno parei de bater-la, sendo que vcê ja havia me respondido, rs.

Fiquei preso, no rename, com o pbi que você me enviou fui entender que era sô rename na primeira colunn alterando o nome da colunn para "promoted headrs" ai bateu, rs

 

Valeu d+

Link para o comentário
Compartilhar em outros sites

  • 0
  • Membros
20 horas atrás, Rafa Lemos disse:

@WENSLEY DYCKSON SILVA SANT conseguiu resolver?
Esse tópico está como resolvido.

Boa noite , como vai?

Então, fiz um teste em PBI com dados bem reduzidos, deu super certo.

Nesse fds, criei uma base dados completos com várias tabelas e condições, publiquei-a,  porém quando fiz o carregamento pelo PBIOnline ele demorou cerca de 2 horas para apresentar o erro(Abaixo).

  • Erro de fonte de dados{"error":{"code":"DM_GWPipeline_Gateway_TimeoutError","pbi.error":{"code":"DM_GWPipeline_Gateway_TimeoutError","parameters":{},"details":[],"exceptionCulprit":1}}}
  • Cluster URIWABI-BRAZIL-SOUTH-B-PRIMARY-redirect.analysis.windows.net
  • ID da atividadeefe7a0d3-2569-4262-aff3-5b7becd12b79
  • Solicitar IDca968485-25ff-a41a-ec13-b4c5c045ceb9
  • Hora2021-04-26 17:11:17Z

Segue a ideia que foi aplicada, talvez me ajude a decifrar...

Como toda a minha base vem do excel(.csv) então montei várias pastas com várias informações,;

Fiz a conexão na fonte de dados, Classifiquei de A/Z, Filtrei pela pasta, Filtrei em (.CSV), apliquei as Ranges na Date Modified, Combinei os Arquivos e em Etapas Aplicadas, marquei em Outras Colunas Removidas1(Date Modified) pois quando fazemos a combinação, automaticamente o PQ esconde a Date Modified.

 

Imagem dos dados até as Ranges.

image.thumb.png.ba1c3e35251acc33fc865e8dcbe3971d.png

 

Ja no PBI configurei a atualização incremental da seguinte forma baixo.

image.png.abf628951f6cd75c2cdabea61261a81c.png

Coloquei para atualizar linhas em 10 dias apenas, porque minha equipe tem o costume de alterar a base apenas 1 vez por dia, com isso poderia até ser 2 dias, mas para teste deixei 10 dias.

Todos os arquivos, pode ver na foto acima do PQ as data/hora serão e estarão sempre dentro dos 10 dias.

Se puder me ajudar, agradeço, a maquina virtual fica com o CPU no taaaalo e olha que ela é boa.

Editado por WENSLEY DYCKSON SILVA SANT
Citar Membro
Link para o comentário
Compartilhar em outros sites

  • 0
  • Admin
Link para o comentário
Compartilhar em outros sites

  • 0
  • Membros
9 minutos atrás, Rafa Lemos disse:

@WENSLEY DYCKSON SILVA SANT qual foi o problema agora?

Fala meu amigo, 

 

Borá lá....

De acordo com o mestre, quando importamos a fonte temos que ter o cuidado de não combinar os arquivos diretamente da coluna CONTENT.

E nisso ele mostrou que precisamos usar a "Função Binary" sobre a coluna "CONTENT" o invés de combinar arquivo, com isso eu não tenho mais o "Arquivo de Amostra" e tbm a tabela "Transformar o Arquivo de Exemplo", 

image.png.20f2ba7264bc648abb0b61066dce260e.pngimage.png.e7d55c81c1ca6816a9d9c8ee07022c32.png

Estava usando a tabela de "TRANSOFRMAR o ARQUIVO DE EXEMPLO" apenas para filtrar a a COLUNN1, porque dentro dela eu tenho as numerações, 0, 1, 2 e 9.

Onde;

0, é como um cabeçalho de qual BD foi extraído o CSV e o período.

1, é o cabeçalho de fato, nome das colunas

2, sãos os dados das colunas

9, fim da tabela.

Quando aplicava o filtro deixando apenas 1 e 2, eu subia o cabeçalho, automaticamente na tabela em "Outras Consultas" e excluía somente o nome da origem e aplicar a detecção tipo de dados e fim.

 

Invocando a função binary diretamente da "Etapas Aplicadas" da tbl raiz, sempre vou ter a Date Modified seguindo linha por linha.

Então quando eu aplicado o filtro deixando a COLUNN1 apenas os os dados 1 e 2, vou ter problema ao subir o cabeçalho, pois quando faço essa etapa ele vai substituir o nome Date Modified para a DATA em formato DD/MM/AAAA HH:MM:SS., foto abaixo.

 

Antes de subir cabeçalho:

image.png.428c82959e92696c532396ef06b164b8.png

  

Etapa apôs subir o cabeçalho

image.png.9ff680f99a15dc2f5f668367e49e35b4.png

 

Eu fiz um teste com dados bem reduzidos, alterei o nome das COLUNNS sem subir o cabeçalho, porém é muiiiiiiiitas colunas na realidade.

Esse é meu probleminha, rs

 

Link para o comentário
Compartilhar em outros sites

  • 0
  • Admin

@WENSLEY DYCKSON SILVA SANT bem tranquilo o seu probleminha... rsrsrs
Eu tenho esse exemplo, que veio da comunidade.
PA-HMUE.xlsx - Fonte de Dados

PowerBI.pbix - PBIX


Nele tem essa etapa no Power Query que renomeio as colunas de acordo com a posição delas, sem precisar fazer pelo nome. Acho que isso pode te ajudar.

image.thumb.png.d36170bbd1fb1587f83be69b7ebc478a.png

Link para o comentário
Compartilhar em outros sites

  • 0
  • Membros
1 hora atrás, Rafa Lemos disse:

@WENSLEY DYCKSON SILVA SANT bem tranquilo o seu probleminha... rsrsrs
Eu tenho esse exemplo, que veio da comunidade.
PA-HMUE.xlsx - Fonte de Dados

PowerBI.pbix - PBIX


Nele tem essa etapa no Power Query que renomeio as colunas de acordo com a posição delas, sem precisar fazer pelo nome. Acho que isso pode te ajudar.

image.thumb.png.d36170bbd1fb1587f83be69b7ebc478a.png

Boa noite meu amigo.

Seu exemplo não ajudou muito, vou fazer assim.

Vou anexar uma pasta com exemplo de fonteTeste.rar e um pbiTesteIncremetral.pbix com a ideia.

Preciso subir somente as informações em vermelho,

image.png.41ae21e3eaba633c76f5576e6888ed69.png

A ideia é fazer isso, sem renomear.... Será que tem como?

 

Link para o comentário
Compartilhar em outros sites

Visitante
Este tópico está impedido de receber novos posts.
×
×
  • Criar Novo...