DataSource.Error: SharePoint: Request failed: The underlying connection was closed: An unexpected error occurred on a receive

[Marcelo Silva]

Olá pessoal

Eu tenho um fluxo de dados da empresa atualizado por agendamento e que as vezes começa a dar o erro "DataSource.Error: SharePoint: Request failed: The underlying connection was closed: An unexpected error occurred on a receive"
o problema é que  isto não é constante e não houve alterações em qualquer linha de qualquer da tabela do relatório.

 

um exemplo disto eu coloquei os arquivos na pasta do sharepoint na sexta feira, ele atualizou normalmente na sexta. no sábado e no domingo começou a dar erro.

mesmo tentando atualização manual ou alterando a base o problema continua... não é a primeira vez que isto acontece, pesquisei na internet de todas as formas e não achei uma causa ou solução para isto.

 

[Michele]

Olá @Marcelo Silva!

Você configurou a conexão conforme esse vídeo abaixo? Eu utilizo vários arquivos de pasta do Sharepoint nos relatórios da empresa e nunca dá problema conectando como pasta, dessa forma abaixo.

https://play.powerbiexperience.com/curso/tc-9-outras-formas-de-conexao-de-dados/5187/25670

Outro ponto que você pode testar é seu gateway, tentando reinstalar talvez.

Caso você já tenha feito esses testes e não tenha resolvido, recomendo mostrar como está o código M da conexão a essa pasta e mostrar o print do erro, pois as vezes pode ter mais alguma informação relevante, assim quem for ajudar tem mais detalhes.

 

[Marcelo Silva]

Olá @Michele, acho que um ponto que acabei não citando é que isto esta acontecendo no fluxo de dados. este fluxo pegando arquivos de uma pasta do sharepoint.De qualquer forma este problema é intermitente por exemplo com expliquei a atualização de sexta feira ocorreu normalmente. no final de semana não houve qualquer alteração. a algumas semanas aconteceu isto e sem qualquer alteração voltou a funcionar.
Por  ser via sharepoint não há gateway.

As credenciais estão ok e também testei atualizando as credenciais.

Estou anexando as extrações de erros de atualizações que testei hoje. note que o timeout ocorre em arquivos diferentes e em momentos diferentes.

 

O método que utilizo é a de trazer a pasta de dados conforme pode ver assim e a partir dela trazer as tabelas que preciso.  já utilizo isto a um bom tempo sempre problemas inclusive sem alterações na estrutura das querys desde então abaixo um exemplo da pasta dados e o codigo de uma das tabelas (todas seguem a mesma estrutura)

let

    Fonte = Dados,

    Arquivo = Table.SelectRows(Fonte, each Text.Contains([Name], "DadosContrato")),

    Pasta = Table.SelectRows(Arquivo, each [Folder Path] = "Minha pasta sharepoint aqui"),

    TextoExtraido = Table.TransformColumns(Pasta, {{"Name", each Text.BeforeDelimiter(_, "_"), type text}}),

    Conteudo = Table.AddColumn(TextoExtraido, "Conteudo", each Excel.Workbook([Content])),

    ConteudoExpand = Table.ExpandTableColumn(Conteudo, "Conteudo", {"Name", "Data"}, {"Conteudo.Name", "Conteudo.Data"}),

    SelPlanilha = Table.SelectRows(ConteudoExpand, each ([Conteudo.Name] <> "Parâmetros")),

    Limpeza1 = Table.RemoveColumns(SelPlanilha,{"Content", "Name", "Extension", "Date accessed", "Date modified", "Date created", "Attributes", "Folder Path"}),

    Tabela = Limpeza1{0}[Conteudo.Data],

    Cabecalho = Table.PromoteHeaders(Tabela, [PromoteAllScalars=true]),

    RemovePermutas = Table.SelectRows(Cabecalho, each not Text.StartsWith([Código Empreendimento], "P")),

    SelColunas = Table.SelectColumns(RemovePermutas,{"Código Empreendimento", "Código Bloco", "Unidade", "Contrato", "Nome Fiador", "CPF/CNPJ Fiador"}),

    Tipo = Table.TransformColumnTypes(SelColunas, {{"Código Empreendimento", Int64.Type}, {"Código Bloco", Int64.Type}, {"Unidade", type text}, {"Contrato", Int64.Type}, {"Nome Fiador", type text}, {"CPF/CNPJ Fiador", type text}}),

    #"Colunas mescladas" = Table.CombineColumns(Table.TransformColumnTypes(Tipo, {{"Código Empreendimento", type text}, {"Código Bloco", type text}}), {"Código Empreendimento", "Código Bloco", "Unidade"}, Combiner.CombineTextByDelimiter(" ", QuoteStyle.None), "ChaveUnidade"),

  #"Coluna mesclada inserida" = Table.AddColumn(#"Colunas mescladas", "ChaveContrato", each Text.Combine({[ChaveUnidade], Text.From([Contrato])}, " "), type text),

    #"Colunas de chave marcadas" = Table.AddKey(#"Coluna mesclada inserida", {"ChaveContrato","ChaveUnidade","Contrato"}, false)

in

    #"Colunas de chave marcadas"

 

Fluxo_Financeiro_12_12_2022_12_34_32.csv Fluxo_Financeiro_12_12_2022_10_26_22.csv Fluxo_Financeiro_12_12_2022_09_34_12.csv

[Michele]

Olá @Marcelo Silva!

Falei em gateway porque é automático, mas de fato neste caso não há utilização de gateway.

Eu também puxo os dados do Sharepoint para um Fluxo de Dados, porém as tabelas que uso são bem pequenas, não sei se isso pode ser um fator a ser analisado, pois percebi que alguns erros estão dando por time out mesmo.

Se os seus arquivos tiverem milhões de linhas talvez você possa fazer um teste reduzindo os arquivos e vendo se subiria normalmente, se sim pode ser realmente por tamanho. Conosco roda sempre sem erros, exatamente a mesma estrutura que você montou, mas como disse são arquivos pequenos de milhares de linhas apenas, as nossas tabelas com milhões de linhas vem todas do SQL.

Se você tiver possibilidade também pode realizar um teste subindo esses arquivos para o SQL e puxando pro Fluxo a partir do SQL, para ver se rodam sem erros.

Outra coisa importante é se a sua licença tem limite de recursos, por exemplo nós aqui utilizamos a Embedded 1º nível, então as vezes dá erro em alguma coisa por concorrência de recursos mesmo, então nós temos controle para não colocar nada para rodar de forma simultânea. Estruturamos dois Fluxos maiores com todas as tabelas que usamos, um de dados diários e outro de dados mensais, e a partir desses criamos os fluxos por negócio e os relatórios puxam desses fluxos menores, assim nós quebramos mais e não deixamos ter relatórios puxando dados ao mesmo tempo do mesmo fluxo, pois quando fazíamos isso direto dava esse problema de time out.

[Marcelo Silva]

Ola @Michele Primeiramente obrigado pelas dicas e pelo empenho em ajudar,

Mas não creio (no meu caso) que seja o tamanho o problema o maior relatório tem 100 mil linhas e não outro processo rodando em paralelo com esta atualização. inclusive para atualização dos relatórios que utilizam este fluxo faço uma automação pelo power automate (que eu desliguei para testar) havia uma tabela que eu faço uma coluna condicional e ontem eu removi ela para testar atualizou. porém na atualização seguinte sem alterar nada (nem as bases) deu erro novamente. Eu tenho a impressão que ao entrar para editar e alterar algum processo para o serviço on line recalcular ele da certo. mas não funciona quando o serviço é agendado novamente.
sobre a concorrência de recursos  imagino ser possível ser algo como você falou. mas não consigo entender o porque dessa "intermitência" . estou inclusive acompanhando uma agendada enquanto escrevo aqui que pelo tempo decorrido já falhou.
Minha conta é Pro. e sou o unico que usar o PBI aqui na empresa. e sigo a mesma estrutura que vocês uma maior para dados Mensais e Este para dados diarios. o mensal não deu nenhum problema ao contrario deste.



****UPDATE

Apesar da demora (olha o tempo da atualização sob demanda de ontem) atualizou e novamente não fiz nenhuma alteração que não seja atualizar os arquivos base do Sharepoint.

Editado Dezembro 14, 2022 por Marcelo Silva
Update de informação

[Michele]

Olá @Marcelo Silva!

Bem estranho mesmo, talvez seja uma opção pedir um help no suporte da Microsoft, porque não parece ter muita lógica o erro diante das informações que você deu sobre como está conectando, usando, etc.

Desculpe não conseguir ajudar mais, quem sabe tem alguém mais expert que consiga dar mais dicas.

Não sei se ainda existem os grupos de conversas dos alunos no Slack, caso sim seria uma boa pedir para alguém dar uma atenção neste item aqui, coloca lá no grupo específico para Conexão de Dados.