DICAS PARA TORNAR O TRABALHO COM BUSINESS INTELLIGENCE MAIS EFICIENTE

DICAS PARA TORNAR O TRABALHO COM BUSINESS INTELLIGENCE MAIS EFICIENTE

Agora que você já entende como funciona o processo ETL, é hora de aprender algumas dicas que facilitam o dia a dia de quem trabalha com Business Intelligence. Confira:

Data type

Em um banco de dados, cada coluna pode receber um tipo específico: dados de valores numéricos (inteiros ou flutuantes), dados de caracteres, dados de data, etc. Quando tratamos de BI e de Data Warehouse, sabemos que uma quantidade massiva de dados, com milhões de registros em várias colunas, pode ser armazenada. Se o tipo correto para cada operação não for escolhido, a tabela será maior que o necessário. Essa situação exige um espaço maior de armazenamento, o que também ocasiona uma perda de performance.

Por exemplo: há o tipo de campo char, que é um campo que pode receber dados alfanuméricos onde se determina um tamanho fixo de caracteres a serem recebidos (ou seja, não importa quantos dados serão colocados dentro desse campo, ele ocupará aquele espaço fixado). Existe também o tipo varchar, que também é um campo alfanumérico em que se determina um tamanho. Porém, ele só ocupa a quantidade necessária de bytes.

Só que um detalhe pode acabar passando desapercebido. O campo tipo varchar utiliza sempre dois bytes a mais para o controle. Então, quando se tem uma coluna de tamanho fixo e utiliza-se varchar em vez de char, ocorre um desperdício de dois bytes para cada linha. Pode não parecer muito, mas em um cenário com 10 milhões de linhas ou mais, desperdícios assim fazem a diferença.

Integrando SSIS e Phyton

Hoje, a linguagem mais usada na área de programação é Phyton. Entretanto, ela não possui integração com SSIS (SQL Server Integration Services), igualmente utilizado por muitos profissionais de BI. A dica abaixo resolve essa questão, e o método é mais simples do que imaginam.

O SSIS consegue rodar arquivos do tipo .bat, que possuem instruções capazes de serem executadas pelo Windows. Para a sua criação, basta abrir um bloco de notas, escrever o código e, então, salvar com a extensão .bat. Para rodá-lo, é só dar dois cliques no documento. Com isso, resta apenas executar o mesmo no formato que chame a função Python. Segue um exemplo:

Figura 1 - pasta com os arquivos

Certifique-se de que o caminho onde está instalado o seu Python esteja entre “” e aponte o destino completo onde está localizado o arquivo com a linguagem (.py), também entre “”.

Figura 2 - arquivo .bat

Após isso, no Integration Service, deverá ser selecionada a opção “Tarefa Executar Processo”, como na imagem abaixo:

Figura 3 - caixa de ferramenta do SSIS

No campo Executable se passa o caminho do arquivo .bat, conforme exemplificado a seguir:

Figura 4 - Configuração da tarefa

Feito isso, é só executar a tarefa que o .bat vai chamar o executável do Python e vai passar o caminho para que seja executado o arquivo .py. E pronto.

É importante lembrar que a dica acima foi baseada no SSIS, mas pode ser que funcione em outra ferramenta que não tenha suporte ao Python. Convido vocês a realizarem o teste e compartilharem o resultado nos comentários da publicação sobre este texto em nosso LinkedIn.

Este artigo termina por aqui. Espero que tenham gostado da leitura. Até a próxima!