Conexão a várias bases de dados no SharePoint

[Diego Prestes Freitas]

Prezados, constaria de um auxílio quanto ao desempenho da minha conexão aos dado de algumas pasta no SharePoint. Atualmente estou com um desempenho muito lento sempre que é necessário atualizar esses dados, chega a durar entre 40 e 50 minutos.
Como posso estruturar meus dados para agilizar esse processo?

[Diego Prestes Freitas]

Boa tarde Frank!
Obrigado pela disponibilização do seu tempo.
Já consegui realizar as correções necessárias, na verdade eu tive que refazer tudo novamente diretamente como um fluxo de dados e atualmente está atualizando de forma automatizada.
Muito obrigado!

[Roseane]

@Diego Prestes Freitas boa noite.

Uma opção seria você utilizar o dataflow, pois assim tudo ficaria na camada online, sendo mais rápido.

Caso não tenha visto ainda, o Léo fala sobre isso no módulo 9 do curso.
Hotmart Club - Criando Dataflows para centralização das bases e transformações

[Roseane]

@Diego Prestes Freitas 

boa tarde, a solução proposta lhe auxiliou? Podemos encerrar este tópico?

Caso tenha solucionado de alguma outra forma, seria ótimo se colocasse aqui sua solução final.

[Diego Prestes Freitas]

Então, eu consegui utilizar o dataflow, porém ele não atualizar de forma automática e nem de forma manual com os dados do SharePoint.

 

 

O mesmo acontece está acontecendo com alguns outros modelos, eles atualizam normalmente na versão Desktop, porém quando vai para o ambiente on-line não consigo fazer a atualização, nem de forma automática e nem manualmente.

Relatório_Sensor_de_Fadiga_20_07_2021_08_06_00.csv

[Roseane]

@Diego Prestes Freitas, boa noite! 

Sua conta é pro?
Você utilizou a estrutura completa do dataflow ou apenas uma parte?
Tem como mandar o script M para analisarmos?
 

[Diego Prestes Freitas]

Sim, conta PRO.
 

Segue Script do M

let
    Fonte = SharePoint.Files("https://petrobrasdistribuidora.sharepoint.com/sites/regionaisfisc", [ApiVersion = 15]),
    #"Linhas Filtradas" = Table.SelectRows(Fonte, each Text.StartsWith([Name], "PLANILHA DE FROTA")),
    #"Personalização Adicionada" = Table.AddColumn(#"Linhas Filtradas", "Personalizar", each Excel.Workbook([Content])),
    #"Outras Colunas Removidas" = Table.SelectColumns(#"Personalização Adicionada",{"Name", "Personalizar"}),
    #"Texto Extraído Entre os Delimitadores" = Table.TransformColumns(#"Outras Colunas Removidas", {{"Name", each Text.BetweenDelimiters(_, "-", ".", {0, RelativePosition.FromEnd}, 0), type text}}),
    #"Personalizar Expandido" = Table.ExpandTableColumn(#"Texto Extraído Entre os Delimitadores", "Personalizar", {"Name", "Data"}, {"Name.1", "Data"}),
    #"Linhas Filtradas1" = Table.SelectRows(#"Personalizar Expandido", each ([Name.1] = "ATUALIZADA")),
    #"Data Expandido" = Table.ExpandTableColumn(#"Linhas Filtradas1", "Data", {"Column8", "Column31"}, {"Column8", "Column31"}),
    #"Coluna Condicional Adicionada" = Table.AddColumn(#"Data Expandido", "Transportadora", each if Text.StartsWith([Column8], "TRANSPORTADORA") then [Column8] else null),
    #"Erros Substituídos" = Table.ReplaceErrorValues(#"Coluna Condicional Adicionada", {{"Transportadora", null}}),
    #"Preenchido Abaixo" = Table.FillDown(#"Erros Substituídos",{"Transportadora"}),
    #"Texto Extraído Após o Delimitador" = Table.TransformColumns(#"Preenchido Abaixo", {{"Transportadora", each Text.AfterDelimiter(_, ":"), type text}}),
    #"Linhas Filtradas2" = Table.SelectRows(#"Texto Extraído Após o Delimitador", each [Column31] <> null and [Column31] <> ""),
    #"Colunas Removidas" = Table.RemoveColumns(#"Linhas Filtradas2",{"Name.1"}),
    #"Colunas Renomeadas" = Table.RenameColumns(#"Colunas Removidas",{{"Name", "Regional"}, {"Column8", "Placa"}, {"Column31", "Possui Sensor?"}}),
    #"Linhas Filtradas3" = Table.SelectRows(#"Colunas Renomeadas", each ([Placa] <> "Cavalo - Placa")),
    #"Consultas Mescladas" = Table.NestedJoin(#"Linhas Filtradas3", {"Placa"}, Cronograma, {"PLACA"}, "Cronograma", JoinKind.LeftOuter),
    #"Cronograma Expandido" = Table.ExpandTableColumn(#"Consultas Mescladas", "Cronograma", {"Prev. Instalação"}, {"Prev. Instalação"}),
    #"Texto Aparado" = Table.TransformColumns(Table.TransformColumnTypes(#"Cronograma Expandido", {{"Prev. Instalação", type text}}, "pt-BR"),{{"Regional", Text.Trim, type text}, {"Placa", Text.Trim, type text}, {"Possui Sensor?", Text.Trim, type text}, {"Transportadora", Text.Trim, type text}, {"Prev. Instalação", Text.Trim, type text}}),
    #"Tipo Alterado" = Table.TransformColumnTypes(#"Texto Aparado",{{"Prev. Instalação", type date}})
in
    #"Tipo Alterado"

[Frank Figueredo]

@Diego Prestes Freitas você ainda está com problemas ou já resolveu?

Caso ainda esteja, qual é a mensagem de erro que aparece ? Para visualizar a mensagem basta clicar no simbolo ⚠ e clicar em ver mais detalhes, com isso ele vai informar qual foi o erro, depois manda aqui pra gente analisar melhor.

[Diego Prestes Freitas]

Boa tarde Frank!
Obrigado pela disponibilização do seu tempo.
Já consegui realizar as correções necessárias, na verdade eu tive que refazer tudo novamente diretamente como um fluxo de dados e atualmente está atualizando de forma automatizada.
Muito obrigado!