Correlação de dados.txt

A correlação determina o grau de associação entre duas variáveis, por exemplo:

Preço de um carro e o preço de seu seguro;
Idade e custo de plano de saúde;
Massa corporal e altura.
Mas nem sempre essa associação entre as variáveis é uma relação fácil de ser identificada. Dessa forma, existem os coeficientes de correlação que são responsáveis por determinar o grau de "força" da correlação entre duas variáveis e também sua direção.

Coeficiente de Correlação de Pearson
Também conhecido como "ρ de Pearson" esse coeficiente mensura o quão duas variáveis contínuas são correlacionadas. Ele pode varia de -1 a 1, sendo que esses valores indicam:

Valores de 0 a -0.3 ou 0 a 0.3: correlação irrelevante;
Valores de -0.3 a -0.5 ou 0.3 a 0.5: correlação fraca;
Valores de -0.5 a -0.7 ou 0.5 a 0.7: correlação moderada;
Valores de -0.7 a -0.9 ou 0.7 a 0.9: correlação forte;
Valores de -0.9 a -1 ou 0.9 a 1: correlação muito forte.
Para medir o grau de correlação de variáveis que não são contínuas existem outros coeficientes de correlação que podem ser utilizados, como o de Spearman, Kendall, dentre outros. Se quiser conhecer um pouco mais sobre esses outros métodos, sugerimos a leitura do artigo Correlação: direto ao ponto.

https://medium.com/brdata/correla%C3%A7%C3%A3o-direto-ao-ponto-9ec1d48735fb


---------------------
balanceamento de dados
PRÓXIMA ATIVIDADE

Dados desbalanceados são aqueles que possuem muitos registros para uma categoria e poucas para uma outra. Por exemplo, imagine que estamos trabalhando com dados sobre o oceano e queremos verificar as condições nas quais acontece um maremoto.

Se temos dados de todos os dias de um ano, é bastante provável que existam muito mais dados de mar normal do que de maremoto. Com isso, podemos ter dificuldades em localizar os dados que se referem a essa condição específica.

alt text: Gráfico com duas barras verticais. O eixo *y* está intitulado como Frequência e possui os valores de 0 a 1400 em um intervalo de 200 em 200. O eixo *x* possui apenas os nomes das duas barras, sendo eles: Mar normal e Maremoto. A primeira barra está na cor rosa e tem tamanho 1400 e a segunda está na cor azul escuro e possui tamanho 200.

Da mesma forma, se o nosso interesse é criar algum modelo que preveja, baseado nos dados, se haverá tsunami, o modelo pode ter dificuldades por conta da quantidade muito pequena de dados com maremoto.

Por conta disso, existem técnicas que chamamos de balanceamento de dados. Que fazem justamente um balanceamento, igualando o número de registros que se referem à dias com e sem maremoto.

Essas técnicas se dividem em duas vertentes principais: upsampling ou sobreamostragem e downsample ou subamostragem.

As técnicas de sobreamostragem consistem em criar, baseados nos registros existentes, novos registros para a classe que aparece menos, até que a quantidade de registros para ambas as classes se iguale. Já as técnicas de subamostragem consistem em excluir registros da classe que mais aparece até que haja a mesma quantidade para ambas as classes.

Cada uma das técnicas é mais adequada a diferentes situações. Abaixo estão elencadas algumas vantagens e desvantagens de cada uma das técnicas.

Upsampling
Vantagens	Desvantagens
Aumenta o número de registros	Cria distorções no Dataframe
Facilita a criação de modelos de ML	Gera registros que não correspondem à realidade
Downsampling

----------------------
Para saber mais: documentação de dados
PRÓXIMA ATIVIDADE

A documentação é uma boa prática da área de software, quando estamos escrevendo código, é importante que façamos comentários explicando o que as funções fazem, por exemplo.

Quando trabalhamos com dados, também é importante manter a documentação daquilo que fazemos e para isso, usamos metadados. Metadados são dados sobre os dados! Quando criamos um texto, ou qualquer outro documento que fala sobre quais dados e como eles estão distribuídos em um csv, por exemplo, estamos criando metadados.

Eles são úteis pois permitem à outras pessoas conhecer os dados de uma forma eficiente, assim como sanar informações sobre quais transformações os dados sofreram e também qual o contexto no qual os dados estão inseridos. Documentar também permite que outras pessoas compreendam o seu trabalho e possam continuá-lo.

--------------------
A variável target, também conhecida como variável dependente ou resposta, é aquela responsável pela definição do tipo de problema que será resolvido em um projeto de Data Science.

Caso essa variável seja contínua, estaremos trabalhando com um problema de regressão. Se categórica, estaremos trabalhando com um problema de classificação. Dentro dos problemas de classificação, podemos diferenciar os casos em que a variável target apresenta 2 categorias distintas (variável binária) e os casos em que apresenta 3 ou mais.

Ao identificar a variável target de uma base de dados com a função set_target() da biblioteca Oracle ads e checarmos o tipo do conjunto de dados, verificamos que a base de dados é do tipo BinaryClassificationDataset. Além disso, ao utilizar a função target.show_in_notebook(), conseguimos observar, em um gráfico, que a variável target está balanceada:

--------------------

Para saber mais: gráfico de barras - quando usar?
PRÓXIMA ATIVIDADE

O gráfico de barras é muito útil para comparar categorias. Geralmente são usados para evitar a bagunça dos dados, quando as legendas são longas ou se tivermos mais de dez itens para comparar.

Dentro do gráfico de barras existem alguns subtipos:

Barras agrupadas: os itens são agrupados no eixo vertical, permitindo uma comparação rápida de valores.
Barras empilhadas: uma única barra é utilizada para exibir os itens e as cores das legendas são separadas de maneira bem evidente.
Barras 100% empilhadas: é o mesmo conceito das barras empilhadas, com a diferença de que os valores são exibidos em porcentagem.
Dicas para criar um gráfico de barras:

Nomeie os eixos.
Coloque legendas de valores nas barras.
Evite um gráfico “arco-íris”, ou seja, não deixe o gráfico colorido. É bem melhor utilizar uma cor só ou vários tons de uma mesma cor.


---------------------

Storytelling é a arte de contar histórias utilizando técnicas inspiradas em roteiristas e escritores para transmitir uma mensagem de forma fluida e inesquecível. Quando desenvolvemos um projeto ao qual iremos apresentar, devemos ter uma boa narrativa por trás daquele conteúdo que o torne rico em sentido e faça com que as pessoas compreendam todo o processo de forma objetiva.

O storytelling é considerado uma das soft skills mais importantes na área de dados, pois complementa e finaliza um projeto amarrando todas as informações em uma linha contínua. Como sugestão, deixamos este artigo sobre as Soft Skills mais importantes para a área de dados e como desenvolver cada uma delas.