Elastische netto lineaire regressie gebruikt de straffen van zowel de lasso- als de noktechniek om regressiemodellen te regulariseren. De techniek combineert zowel de lasso LASSO LASSO, een afkorting van Least Absolute Shrinkage and Selection Operator, is een statistische formule waarvan het belangrijkste doel is de kenmerkselectie en regularisatie van en nokregressiemethoden door te leren van hun tekortkomingen om de regularisatie van statistische modellen te verbeteren.
De elastische net-methode verbetert de beperkingen van lasso, dwz waar de lasso een paar monsters neemt voor gegevens met hoge dimensionale afmetingen, biedt de elastische net-procedure de opname van een "n" aantal variabelen tot verzadiging. In het geval dat de variabelen sterk gecorreleerde groepen zijn, heeft lasso de neiging om één variabele uit dergelijke groepen te kiezen en de rest volledig te negeren.
Om de beperkingen van de lasso te elimineren, bevat het elastische net een kwadratische uitdrukking (|| β || 2) in de straf, die, wanneer geïsoleerd gebruikt, nokregressie wordt. De kwadratische uitdrukking in de straf verhoogt de verliesfunctie naar convex. Het elastische net put uit het beste van twee werelden: lasso en nokregressie.
In de procedure voor het vinden van de schatter van de elastische netmethode zijn er twee fasen die zowel de lasso- als de regressietechniek omvatten. Het vindt eerst de nokregressiecoëfficiënten en voert vervolgens de tweede stap uit door een lassosoort van krimp van de coëfficiënten te gebruiken.
Deze methode onderwerpt daarom de coëfficiënten in twee soorten krimp. De dubbele krimp van de naïeve versie van het elastische net veroorzaakt een lage efficiëntie in voorspelbaarheid en een hoge bias. Om voor dergelijke effecten te corrigeren, worden de coëfficiënten herschaald door ze te vermenigvuldigen met (1 + λ 2 ).
Korte samenvatting
- De elastische net-methode voert variabele selectie en regularisatie tegelijkertijd uit.
- De elastische nettechniek is het meest geschikt wanneer de dimensionale gegevens groter zijn dan het aantal gebruikte monsters.
- Groeperingen en selectie van variabelen zijn de belangrijkste rollen van de elastische nettechniek.
Elastische netgeometrie
Wanneer het op een Cartesiaans vlak wordt geplot, valt het elastische net tussen de nok- en lasso-regressiegrafieken, aangezien het de combinatie is van deze twee regressiemethoden. De plot voor het elastische net vertoont ook singulariteit bij de hoekpunten, die belangrijk zijn voor schaarsheid. Het vertoont ook strikte convexe randen waarbij de convexiteit afhangt van de waarde van α.
Convexiteit is ook afhankelijk van het groeperingseffect afhankelijk van de correlatie Correlatie Een correlatie is een statistische maat voor de relatie tussen twee variabelen. De maat wordt het best gebruikt in variabelen die een lineaire relatie tussen elkaar laten zien. De pasvorm van de gegevens kan visueel worden weergegeven in een scatterplot. van de geselecteerde variabelen. Hoe hoger de correlatie van de variabelen, hoe groter het groeperingseffect, en dus hoe hoger het aantal variabelen dat in de steekproef is opgenomen.
Variabelen Selectie
Modelbouw vereist selectie van variabelen om een subset van voorspellers te vormen. Elastic net gebruikt de p >> n-probleembenadering, wat betekent dat het aantal voorspellende getallen hoger is dan het aantal steekproeven dat in het model wordt gebruikt. Elastic net is geschikt wanneer de variabelen groepen vormen die sterk gecorreleerde onafhankelijke variabelen bevatten. Onafhankelijke variabele Een onafhankelijke variabele is een invoer, aanname of drijfveer die wordt gewijzigd om de impact ervan op een afhankelijke variabele (de uitkomst) te beoordelen. .
Variabele selectie is opgenomen in de modelbouwprocedure om de nauwkeurigheid te verhogen. In het geval dat een groep variabelen sterk gecorreleerd is en een van de variabelen in de steekproef is geselecteerd, wordt de hele groep automatisch in de steekproef opgenomen.
CATREG Oprichting
CATREG is een algoritme dat de transformatie van variabelen mogelijk maakt, zowel lineair als niet-lineair. Het algoritme maakt gebruik van step- en spline-functies om variabelen niet-monotoon of monotoon te transformeren in niet-lineaire transformaties. CATREG kan variabelen tegelijkertijd niet-monotoon transformeren en regulariseren zonder noodzakelijkerwijs variabelen eerst uit te breiden naar basisfuncties of dummy-variabelen.
Elastische nettoverliesfuncties kunnen ook worden aangeduid als het beperkte type van de gewone regressieverliesfunctie met de kleinste kwadraten. Het CATREG-algoritme is opgenomen in het elastische net, wat de efficiëntie en eenvoud van het resulterende algoritme verbetert. Ter vergelijking: het elastische net presteert beter dan de lasso, die zelf beter presteert dan de nokregressie in termen van efficiëntie en eenvoud.
Elastic Net-regularisatie
Tijdens de regularisatie procedure, de l 1 deel van de straf vormt een dun model. Anderzijds, de kwadratische deel van de straf maakt l 1 deel stabieler het pad naar regularisatie, elimineert de maximum hoeveelheid variabelen te kiezen, en bevordert de groepering effect.
Door het groeperingseffect kunnen de variabelen gemakkelijk worden geïdentificeerd met behulp van correlatie. Dat verbetert de bemonsteringsprocedure. Het verhoogt ook het aantal geselecteerde variabelen, aangezien wanneer een variabele wordt bemonsterd in een sterk gecorreleerde groep, alle andere variabelen in die groep automatisch aan de steekproef worden toegevoegd.
Effectieve graden van vrijheid
Effectieve vrijheidsgraden meten de complexiteit van een model. Vrijheidsgraden zijn belangrijk bij het schatten of nauwkeurig voorspellen van een modelaanpassing. Vrijheidsgraden zijn ook opgenomen in het leren van lineaire smoothers. Bij elke methode die verband houdt met de l 1- straf, vormt de niet-lineaire aard van modellen de uitdaging in de analyse.
Elastisch net kan ook worden gebruikt in andere toepassingen, zoals in schaarse PCA, waar het hoofdcomponenten verkrijgt die worden gewijzigd door schaarse belastingen. De andere toepassing bevindt zich in het elastische net van de kernel, waar het genereren van klasse-kernelmachines plaatsvindt met ondersteuningsvectoren.
Aanvullende bronnen
Finance biedt de Certified Banking & Credit Analyst (CBCA) ™ CBCA ™ -certificering De Certified Banking & Credit Analyst (CBCA) ™ -accreditatie is een wereldwijde standaard voor kredietanalisten die betrekking heeft op financiën, boekhouding, kredietanalyse, cashflowanalyse, convenantmodellering, lening terugbetalingen, en meer. certificeringsprogramma voor diegenen die hun carrière naar een hoger niveau willen tillen. Bekijk de aanvullende relevante financiële bronnen hieronder om te blijven leren en uw kennisbasis te ontwikkelen:
- Beslisboom Beslisboom Een beslissingsboom is een ondersteunend hulpmiddel met een boomachtige structuur die waarschijnlijke resultaten, kosten van middelen, nutsvoorzieningen en mogelijke gevolgen modelleert.
- Afhankelijke variabele Afhankelijke variabele Een afhankelijke variabele is een variabele die zal veranderen afhankelijk van de waarde van een andere variabele, de zogenaamde onafhankelijke variabele.
- Meervoudige lineaire regressie Meervoudige lineaire regressie Meervoudige lineaire regressie verwijst naar een statistische techniek die wordt gebruikt om de uitkomst van een afhankelijke variabele te voorspellen op basis van de waarde van onafhankelijke variabelen
- Overfitting Overfitting Overfitting is een term die in statistieken wordt gebruikt en verwijst naar een modelleringsfout die optreedt wanneer een functie te nauw overeenkomt met een bepaalde set gegevens
