Agrupar tabela FATO para otimizar cálculo lento

[champanjonata]

Bom dia pessoal, tudo bem?

Eu tenho uma fato com aproximadamente 3M de registros e pra tudo que usei até agora ela estava ok, porém preciso de um cálculo que envolve contagem distinta e está impossível de usar, então eu 'dupliquei' ela e agrupei os dados e ficou top com 7 MIL linhas apenas e essa contagem distinta ficou bala... ela está se relacionando com as minhas dimensões normalmente, a dúvida é: é uma boa continuar dessa forma ou melhor tentar otimizar a 'fato principal (com 3MI de registros)?

Pergunto pois na 'fato principal' eu tenho valores monetários e utilizo para vários fins e essa outra 'fato agrupada' é somente para um cálculo em específico.... tenho receio de precisar cruzar alguma informação e por ela estar agrupada e com menos dados (pois agrupei apenas com as colunas que vou utilizar) dar problema no futuro....

[Tiago Craici]

Boa tarde @champanjonata! 

Pode agrupar utilizando a função "SUMMARIZE" (criando a tabela virtual agrupada) em seguida realizar uma contagem distinta dessa tabela criada utilizando a função "DISTINCTCOUNT" ou mesmo uma "COUNTROWS" dessa tabela. Não utilizando função "FILTER" a "SUMMARIZE" é bem performática. 


Sucesso! 🚀

Editado Maio 17 por Tiago Craici

[champanjonata]

4 minutos atrás, Tiago Craici disse:

Boa tarde @champanjonata! 

Pode agrupar utilizando a função "SUMMARIZE" (criando a tabela virtual agrupada) em seguida realizar uma contagem distinta dessa tabela criada utilizando a função "DISTINCTCOUNT" ou mesmo uma "COUNTROWS" dessa tabela. Não utilizando função "FILTER" a "SUMMARIZE" é bem performática. 


Sucesso! 🚀

Boa tarde Tiago.

Então, o problema é que eu preciso usar o FILTER e aí a summarize fica lenta demais.

Exemplo:
Tenho as datas:
31/03/2023
28/04/2023 (pois considero apenas o dia que tenho movimento)
01/05/2023
...
17/05/2023

Preciso contar determinada coluna distinto de modo que:

final mês 3: 10
final mês 4: 20
final mês 4 (no caso 17/05/2023): 30

Até aí tudo bem, fiz a fórmula:

LastDay =

 

VAR CurrDate = MAX(f_carteira[DATA_REFERENCIA])

 

RETURN

 

CALCULATE(

    MAX(f_dados[DATA_REFERENCIA]),

    FILTER(

        ALLSELECTED(f_carteira),

        f_carteira[DATA_REFERENCIA] >  EOMONTH(CurrDate, -1) &&

        f_carteira[DATA_REFERENCIA] <= EOMONTH(CurrDate, 0)

    )

)

E fica certo:

Mas aí fica lento demais... mesmo na agrupada tá meio lento mas usual.

Um outro problema que ainda não entendi também é que:
Não sei porque está totalizando 136:

Enfim, tô tentando pensar em algo aqui. Mas obrigado pela dica.

[Tiago Craici]

Outro exemplo:
 

Tiago =

COUNTROWS( VALUES(fVenda[ID_Prod]))

O Exemplo acima é de uma tabela venda onde há milhares de ID dos produtos vendidos. 


 

[Tiago Craici]

Referente ao total com 136... Você esta utilizando campo de data para filtrar o valor., nos meses da certo por fica dentro do contexto (data), já o total é avaliado outro contexto ficando impossível validar essa parte da medida (  f_carteira[DATA_REFERENCIA] >  EOMONTH(CurrDate, -1) && f_carteira[DATA_REFERENCIA] <= EOMONTH(CurrDate, 0) ).


Os totais podem ser corrigidos utilizando a função SUMX. 

[champanjonata]

1 minuto atrás, Tiago Craici disse:

Referente ao total com 136... Você esta utilizando campo de data para filtrar o valor., nos meses da certo por fica dentro do contexto (data), já o total é avaliado outro contexto ficando impossível validar essa parte da medida (  f_carteira[DATA_REFERENCIA] >  EOMONTH(CurrDate, -1) && f_carteira[DATA_REFERENCIA] <= EOMONTH(CurrDate, 0) ).


Os totais podem ser corrigidos utilizando a função SUMX. 

Eu já estou usando SUMX:

Qtde Grupos =

 

var vCorte = [LastDay]

 

return

 

CALCULATE(

    DISTINCTCOUNT(f_carteira[ID_GRUPO]),

    f_carteira[AUX_CONTA_GRUPO] = 0,

    f_carteira[DATA_REFERENCIA] = vCorte

)

Por isso não entendi esse total errado...

[champanjonata]

8 minutos atrás, champanjonata disse:

Eu já estou usando SUMX:

Qtde Grupos =

 

var vCorte = [LastDay]

 

return

 

CALCULATE(

    DISTINCTCOUNT(f_carteira[ID_GRUPO]),

    f_carteira[AUX_CONTA_GRUPO] = 0,

    f_carteira[DATA_REFERENCIA] = vCorte

)

Por isso não entendi esse total errado...

Uma possível resposta para o totalizador é:
meses indivisuais
jan ok
fev ok
mar ok

porém o total deveria ser 3 e não 4, ou seja, como em jan já teve a ocorrência de '10' não poderia contá-lo em mar...

[Tiago Craici]

30 minutos atrás, champanjonata disse:

Eu já estou usando SUMX:

Qtde Grupos =

 

var vCorte = [LastDay]

 

return

 

CALCULATE(

    DISTINCTCOUNT(f_carteira[ID_GRUPO]),

    f_carteira[AUX_CONTA_GRUPO] = 0,

    f_carteira[DATA_REFERENCIA] = vCorte

)

Por isso não entendi esse total errado...

Utilize a SUMX criando uma nova medida. 

[champanjonata]

20 minutos atrás, Tiago Craici disse:

Utilize a SUMX criando uma nova medida. 

Você fala:

Medida A = SUMX(f_carteira, QC) por exemplo?