Laso melakukan penyusutan sehingga ada "sudut'' dalam kendala, yang dalam dua dimensi sesuai dengan berlian. Jika jumlah kuadrat "menabrak'' salah satu sudut ini, maka koefisien yang sesuai dengan sumbu diciutkan menjadi nol. … Oleh karena itu, laso melakukan penyusutan dan (efektif) pemilihan subset.
Mengapa laso memberikan koefisien nol?
Laso melakukan penyusutan sehingga ada "sudut'' dalam kendala, yang dalam dua dimensi sesuai dengan berlian. Jika jumlah kuadrat "menabrak'' salah satu sudut ini, maka koefisien yang sesuai dengan sumbu diciutkan menjadi nol.
Mengapa laso menyusut menjadi nol tetapi tidak Ridge?
Dikatakan bahwa karena bentuk kendala dalam LASSO adalah berlian, solusi kuadrat terkecil yang diperoleh mungkin menyentuh sudut berlian sedemikian rupa sehingga menyebabkan penyusutan beberapa variabel. Namun, dalam regresi ridge, karena merupakan lingkaran, sering kali tidak menyentuh sumbu
Mengapa regresi ridge menyusutkan koefisien?
Regresi punggungan mengecilkan semua koefisien regresi menuju nol; laso cenderung memberikan satu set koefisien regresi nol dan mengarah ke solusi yang jarang. Perhatikan bahwa untuk regresi ridge dan lasso, koefisien regresi dapat berpindah dari nilai positif ke negatif karena menyusut ke nol.
Apakah koefisien laso bias?
…penyusutan laso menyebabkan pendugaan koefisien bukan-nol menjadi bias menuju nol dan secara umum tidak konsisten [Catatan Tambahan: Artinya, sebagai ukuran sampel bertambah, estimasi koefisien tidak konvergen].
