A regressão linear de rede elástica usa as penalidades das técnicas de laço e crista para regularizar os modelos de regressão. A técnica combina o lasso LASSO LASSO, abreviação de Least Absolute Shrinkage and Selection Operator, é uma fórmula estatística cujo objetivo principal é a seleção e regularização de características e métodos de regressão de crista aprendendo com suas deficiências para melhorar a regularização de modelos estatísticos.
O método da rede elástica melhora as limitações do laço, ou seja, onde o laço tira algumas amostras para dados dimensionais elevados, o procedimento da rede elástica proporciona a inclusão de “n” número de variáveis até a saturação. Em um caso onde as variáveis são grupos altamente correlacionados, o laço tende a escolher uma variável de tais grupos e ignorar o resto completamente.
Para eliminar as limitações encontradas no laço, a rede elástica inclui uma expressão quadrática (|| β || 2) na penalidade, que, quando usada isoladamente, torna-se regressão de crista. A expressão quadrática na penalidade eleva a função de perda a ser convexa. A rede elástica atrai o melhor dos dois mundos - isto é, laço e regressão do cume.
No procedimento para encontrar o estimador do método da rede elástica, existem duas etapas que envolvem as técnicas de laço e de regressão. Ele primeiro encontra os coeficientes de regressão da crista e, em seguida, conduz a segunda etapa usando uma espécie de laço de redução dos coeficientes.
Este método, portanto, sujeita os coeficientes a dois tipos de retrações. O encolhimento duplo da versão ingênua da rede elástica causa baixa eficiência na previsibilidade e alta polarização. Para corrigir tais efeitos, os coeficientes são redimensionados multiplicando-os por (1 + λ 2 ).
Resumo Rápido
- O método da rede elástica realiza seleção e regularização de variáveis simultaneamente.
- A técnica de rede elástica é mais apropriada quando os dados dimensionais são maiores do que o número de amostras usadas.
- A seleção de agrupamentos e variáveis são os papéis principais da técnica da rede elástica.
Geometria de rede elástica
Quando plotada em um plano cartesiano, a rede elástica fica entre os gráficos de regressão da crista e do laço, uma vez que é a combinação desses dois métodos de regressão. O gráfico da rede elástica também exibe singularidade nos vértices, que são importantes para a dispersão. Ele também exibe bordas convexas estritas, onde a convexidade depende do valor de α.
A convexidade também depende do efeito de agrupamento dependente da correlação Correlação Uma correlação é uma medida estatística da relação entre duas variáveis. A medida é melhor usada em variáveis que demonstram uma relação linear entre si. O ajuste dos dados pode ser representado visualmente em um gráfico de dispersão. das variáveis selecionadas. Quanto maior a correlação das variáveis, maior o efeito de agrupamento e, portanto, maior o número de variáveis incluídas na amostra.
Seleção de Variáveis
A construção de modelo requer seleção de variáveis para formar um subconjunto de preditores. A rede elástica usa a abordagem do problema p >> n, o que significa que o número de números dos preditores é maior do que o número de amostras usadas no modelo. A rede elástica é apropriada quando as variáveis formam grupos que contêm variáveis independentes altamente correlacionadas. Variável independente Uma variável independente é uma entrada, suposição ou fator que é alterado para avaliar seu impacto em uma variável dependente (o resultado). .
A seleção de variáveis é incorporada ao procedimento de construção do modelo para ajudar a aumentar a precisão. No caso em que um grupo de variáveis é altamente correlacionado e uma das variáveis é selecionada para a amostra, todo o grupo é automaticamente incluído na amostra.
CATREG Incorporation
CATREG é um algoritmo que facilita a transformação de variáveis, tanto lineares quanto não lineares. O algoritmo utiliza funções step e spline na transformação de variáveis de forma não monotônica ou monotônica em transformações não lineares. CATREG pode simultaneamente transformar e regularizar variáveis de forma não monotônica, sem necessariamente exigir a expansão das variáveis em funções básicas ou variáveis dummy.
As funções de perda líquida elástica também podem ser denominadas como o tipo restrito da função de perda de regressão de mínimos quadrados ordinários. O algoritmo CATREG é incorporado à rede elástica, o que melhora a eficiência e a simplicidade do algoritmo resultante. Em comparação, a rede elástica supera o laço, que por si só supera a regressão do cume em termos de eficiência e simplicidade.
Regularização Elastic Net
Durante o procedimento de regularização, o l 1 secção da pena de forma um modelo escasso. Por outro lado, a seção quadrática da penalidade torna a parte l 1 mais estável no caminho para a regularização, elimina o limite de quantidade de variáveis a serem selecionadas e promove o efeito de agrupamento.
O efeito de agrupamento ajuda as variáveis a serem facilmente identificadas usando correlação. Isso melhora o procedimento de amostragem. Também aumenta o número de variáveis selecionadas, uma vez que quando uma variável é amostrada em um grupo altamente correlacionado, todas as outras variáveis naquele grupo são automaticamente adicionadas à amostra.
Graus eficazes de liberdade
Os graus de liberdade efetivos medem a complexidade de um modelo. Graus de liberdade são importantes durante a estimativa ou a previsão precisa de um ajuste de modelo. Graus de liberdade também são incorporados na aprendizagem de suavizadores lineares. Em qualquer método relacionado com o l 1 penalidade, a natureza não-linear de modelos levanta o desafio na análise.
A rede elástica também pode ser usada em outras aplicações, como em PCA esparso, onde obtém componentes principais que são modificados por carregamentos esparsos. A outra aplicação é na rede elástica do kernel, onde ocorre a geração das máquinas kernel da classe com vetores de suporte.
Recursos adicionais
Finanças oferece o Certified Banking & Credit Analyst (CBCA) ™ Certificação CBCA ™ O credenciamento Certified Banking & Credit Analyst (CBCA) ™ é um padrão global para analistas de crédito que cobre finanças, contabilidade, análise de crédito, análise de fluxo de caixa, modelagem de covenant, empréstimo reembolsos e muito mais. programa de certificação para aqueles que procuram levar suas carreiras ao próximo nível. Para continuar aprendendo e desenvolvendo sua base de conhecimento, explore os recursos financeiros relevantes adicionais abaixo:
- Árvore de decisão Árvore de decisão Uma árvore de decisão é uma ferramenta de suporte com uma estrutura semelhante a uma árvore que modela resultados prováveis, custo de recursos, utilidades e possíveis consequências.
- Variável dependente Variável dependente Uma variável dependente é aquela que mudará dependendo do valor de outra variável, chamada de variável independente.
- Regressão linear múltipla Regressão linear múltipla A regressão linear múltipla se refere a uma técnica estatística usada para prever o resultado de uma variável dependente com base no valor das variáveis independentes
- Overfitting Overfitting Overfitting é um termo usado em estatísticas que se refere a um erro de modelagem que ocorre quando uma função corresponde muito de perto a um determinado conjunto de dados
