Машина үйрөнүүдө перцептрон – бинардык классификаторлор үчүн көзөмөлдөнгөн үйрөнүү алгоритми. Ал көп учурда перцептрон деп да аталат. Бинардык классификатор - бул сандардын вектору менен берилген киргизүү кандайдыр бир класска таандык экенин чече ала турган функция. Бул сызыктуу классификатордун бир түрү, башкача айтканда, салмактардын топтомун өзгөчөлүк вектору менен айкалыштырган сызыктуу болжолдоочу функциянын негизинде өз божомолдорун жасаган классификациялоо алгоритми.
Акыркы жылдары терең үйрөнүүдөгү жетишкендиктерден улам жасалма нейрон тармактарына көңүл бурулду. Бирок жасалма нейрон тармагы деген эмне жана ал эмнеден турат?
Перцептрон менен таанышуу
Бул макалада биз жалпысынан жасалма нейрон тармактарын тез карап чыгабыз, андан соң бир нейронду карап чыгабыз жана акырында (бул коддоо бөлүгү) биз жасалма нейрондун эң негизги версиясын алабыз. нейрон, кабылдоочу жана анын чекиттерин классификациялайтучак.
Эмне үчүн ар бир адам үчүн мынчалык жеңил, бирок компьютерлер үчүн укмуштуудай татаал тапшырмалар бар экенин ойлонуп көрдүңүз беле? Жасалма нейрон тармактары (кыскача ANN) адамдын борбордук нерв системасынан шыктанган. Биологиялык кесиптештери сыяктуу эле, ANN чоң тармакка бириктирилген сигналды иштетүүчү жөнөкөй элементтерге курулган.
Нейрондук тармактар үйрөнүшү керек
Салттуу алгоритмдерден айырмаланып, нейрон тармактарын максаттуу иштөө үчүн "программалаштыруу" же "түздөө" мүмкүн эмес. Адамдын мээси сыяктуу эле, алар тапшырманы аткарууну үйрөнүшү керек. Болжол менен айтканда, үч үйрөнүү стратегиясы бар.
Эң оңой жолду эгер белгилүү натыйжалары бар сыноо иши (жетиштүү чоң) болсо колдонсо болот. Андан кийин окутуу мындай болот: бир маалымат топтомун иштетүү. Натыйжаны белгилүү натыйжа менен салыштырыңыз. Тармакты орнотуп, кайра аракет кылыңыз. Бул биз бул жерде колдоно турган үйрөнүү стратегиясы.
Көзөмөлсүз окутуу
Эгерде эч кандай сыноо маалыматтары жок болсо жана керектүү жүрүм-турумдан кандайдыр бир чыгым функциясын алуу мүмкүн болсо, пайдалуу. Наркы функция нейрондук тармакка ал максаттан канчалык алыс экенин айтып берет. Андан кийин тармак реалдуу дайындар менен иштеп, өз параметрлерин тез эле тууралай алат.
Чыгылган окутуу
"Сабиз жана таяк" ыкмасы. Нейрондук тармак үзгүлтүксүз аракетти жаратса, колдонсо болот. Убакыттын өтүшү менен тармак туура аракеттерди тандап, туура эмес аракеттерден качууну үйрөнөт.
Макул, азыр биз бир аз билебизжасалма нейрон тармактарынын табияты, бирок алар эмнеден жасалган? Капкакты ачып ичин карасак эмнени көрөбүз?
Нейрондор нейрон тармактарынын курулуш материалы болуп саналат. Ар кандай жасалма нейрон тармагынын негизги компоненти жасалма нейрон болуп саналат. Алар биологиялык кесиптештеринин атынан эле аталбастан, мээбиздеги нейрондордун жүрүм-турумунан да үлгү алышкан.
Биология vs технология
Биологиялык нейрондун сигналдарды кабыл алуу үчүн дендриттери, аларды иштете турган клетканын денеси жана башка нейрондорго сигнал жөнөтүүчү аксону бар болгондой эле, жасалма нейрондо да бир нече киргизүү каналдары, иштетүү стадиясы жана бир чыгышы бар. башка көптөгөн адамдарга тарайт. жасалма нейрондор.
Бир эле перцептрон менен пайдалуу нерсе кыла алабызбы? Бир эле кабылдоочу чече ала турган маселелердин классы бар. Киргизүү векторун чекиттин координаттары катары карап көрөлү. n-элементтери бар вектор үчүн бул чекит n-өлчөмдүү мейкиндикте жашайт. Жашоону жөнөкөйлөтүү үчүн (жана төмөндөгү код), аны 2D деп коёлу. Кагаз сыяктуу.
Кийин, биз бул тегиздикте туш келди чекиттерди тартып, кагазга түз сызык тартуу менен аларды эки топтомго бөлгөнүбүздү элестетиңиз. Бул сызык чекиттерди эки топтомго бөлөт, бири сызыктын үстүндө жана бири астынан. Андан кийин эки топтом сызыктуу бөлүнүүчү деп аталат.
Бир кабылдоочу, канчалык жөнөкөй көрүнбөсүн, бул сызык кайда экенин биле алат жана ал машыгууну аяктагандан кийин, берилген чекит бул сызыктын үстүндө же ылдыйда экенин аныктай алат.
Тарыхойлоп табуулар
Бул методдун алгоритми 1957-жылы Корнелл авиациялык лабораториясында Фрэнк Розенблат (көбүнчө анын ысымы менен аталган) тарабынан ойлоп табылган жана АКШнын деңиз изилдөөлөр башкармалыгы тарабынан каржыланган. Перцептрон программа эмес, машина болуу үчүн арналган жана анын биринчи жолу IBM 704 үчүн программалык камсыздоодо болгонуна карабастан, ал кийинчерээк "Mark 1 Perceptron" катары атайын жасалган аппараттык жабдыктарда ишке ашырылган. Бул машина сүрөттөрдү таануу үчүн иштелип чыккан: ал нейрондорго туш келди туташтырылган 400 фотоэлементтен турган массивге ээ. Салмактар потенциометрлерде коддолгон жана машыгуу учурунда салмакты жаңыртуу электр кыймылдаткычтары менен аткарылган.
1958-жылы АКШнын Аскер-деңиз флоту уюштурган пресс-конференцияда Розенблатт AI коомчулугунда кызуу талаш-тартыштарды жараткан перцептрон жөнүндө билдирүү жасаган; Розенблаттын ырастоолоруна таянып, New York Times гезити перцептрон "Дениз флоту баса алат, сүйлөй алат, көрө алат, жаза алат, көбөйө алат жана анын бар экенин биле алат деп күткөн эмбриондук электрондук компьютер" деп билдирди.
Кийинки окуялар
Перцептрон башында келечектүү көрүнгөнү менен, кабылдагычтарды калыптардын көп класстарын таанууга үйрөтүү мүмкүн эместиги бат эле далилденди. Бул эки же андан көп катмарлуу (ошондой эле деп аталат) алдыга багыттоочу нейрон тармагы деп таанылганга чейин көп жылдар бою перцептрондук нейрон тармактары менен изилдөө тармагында токтоп калууга алып келди.көп катмарлуу перцептрондор) бир катмарлуу перцептрондорго (ошондой эле бир катмарлуу перцептрондор деп аталат) караганда бир топ көп иштетүү кубаттуулугуна ээ болгон. Бир катмарлуу перцептрон сызыктуу бөлүнүүчү структураларды изилдөөгө гана жөндөмдүү. 1969-жылы Марвин Мински менен Сеймур Паперттин атактуу "Перцептрондор" китеби бул тармактар класстары XOR функциясын үйрөнө албастыгын көрсөткөн. Бирок, бул бир катмарлуу перцептрондо колдонула турган сызыктуу эмес классификация функцияларына тиешеси жок.
Мындай функцияларды колдонуу кабылдоочу аппараттын мүмкүнчүлүктөрүн кеңейтет, анын ичинде XOR функциясын ишке ашыруу. Көбүнчө (туура эмес) алар да ушундай натыйжа көп катмарлуу кабылдоочу тармак үчүн сакталат деп болжолдошот. Бирок, бул андай эмес, анткени Мински да, Паперт да көп катмарлуу перцептрондор XOR функциясын чыгара аларын билишкен. Үч жылдан кийин Стивен Гроссберг дифференциалдык функцияларды, контрастты жогорулатуу функцияларын жана XOR функцияларын моделдештире алган тармактарды көрсөткөн бир катар макалаларды жарыялады.
Чыгармалар 1972 жана 1973-жылдары жарык көргөн. Бирок, көп учурда көз жаздымда калган Minsky/Papert тексти нейрондук тармак перцептрон менен кызыгуу жана изилдөө каржылоонун олуттуу төмөндөшүнө себеп болгон. 1980-жылдары нейрондук тармакты изилдөө жанданганга чейин дагы он жыл өттү.
Функциялар
Перцептрон ядросунун алгоритми 1964-жылы Yzerman et al. Мурунку жыйынтыктарды узартып, жаңы чектерди берген Мори жана Ростамизаде (2013) L1.
Перцептрон – биологиялык нейрондун жөнөкөйлөштүрүлгөн модели. Нейрондук жүрүм-турумду толук түшүнүү үчүн көбүнчө биологиялык нейрон моделдердин татаалдыгы талап кылынса да, изилдөөлөр перцептрон сымал сызыктуу модель чыныгы нейрондордо көрүнгөн кээ бир жүрүм-турумду жаратышы мүмкүн экенин көрсөтүп турат.
Перцептрон сызыктуу классификатор, андыктан ал эч качан бардык кириш векторлору туура классификацияланган абалга түшпөйт, эгерде D машыгуу топтому сызыктуу бөлүнбөсө, б.а. эгерде оң мисалдарды терс мисалдардан гиперплан менен ажыратууга болбойт. Бул учурда, эч кандай "болжолдуу" чечим стандарттык окутуу алгоритми аркылуу кадам кадам, анын ордуна үйрөнүү толугу менен ишке ашпай калат. Ошондуктан, эгерде машыгуу топтомунун сызыктуу бөлүнүшү априори белгилүү болбосо, төмөндөгү тренинг варианттарынын бирин колдонуу керек.
Чөнтөк алгоритми
Ратчет чөнтөк алгоритми азыркыга чейин табылган эң жакшы чечимди "чөнтөктө" сактоо менен перцептронду үйрөнүүнүн бекемдиги маселесин чечет. Чөнтөк алгоритми андан кийин акыркы чечимге эмес, чөнтөктөгү чечимди кайтарат. Аны бир нече туура эмес классификациялары бар перцептронду табуу максат кылынган бөлүнгүс маалымат топтомдору үчүн да колдонсо болот. Бирок, бул чечимдер стохастикалык көрүнөт, демек, чөнтөк алгоритми аларга туура келбейт.окутуунун жүрүшүндө акырындык менен байкалат жана алар белгилүү бир сандагы машыгуу кадамдарынан кийин аныкталбайт.
Maxover Algorithm
Максовердин алгоритми маалыматтар топтомунун сызыктуу бөлүнүүчүлүк билимине карабастан жакындайт деген мааниде "бекем". Сызыктуу бөлүнүү учурунда, бул оптималдуу туруктуулукта да (класстар ортосундагы максималдуу маржа) окуу маселесин чечет. Бөлүнбөгөн маалымат топтомдору үчүн аз сандагы туура эмес классификациялар менен чечим кайтарылат. Бардык учурларда алгоритм окуу процессинде мурунку абалдарды эстебестен жана туш келди секириксиз акырындык менен чечимге жакындайт. Конвергенция жалпы маалымат топтомдорунун глобалдык оптималдуулугунда жана бөлүнгүс маалымат топтомдору үчүн локалдык оптималдуулугунда турат.
Добуш берилген Перцептрон
Vobed Perceptron алгоритми бир нече салмактуу кабылдоочуларды колдонгон вариант. Алгоритм мисал ката классификацияланган сайын жаңы перцептронду баштап, акыркы кабылдагычтын акыркы салмактары менен салмак векторун инициализациялайт. Ар бир кабылдоочуга бирөөнү туура эмес классификациялоодон мурун канча мисал туура классификацияланганына жараша ар кандай салмак берилет жана жыйынтыгында бүт кабылдоочу боюнча салмактуу добуш берилет.
Колдонмо
Бөлүнүүчү маселелерде перцептрондук машыгуу класстар ортосундагы эң чоң чек араны табууга да багытталышы мүмкүн. АталганОптималдуу туруктуулукту перцептронду Min-Over же AdaTron алгоритми сыяктуу итеративдик окутуу жана оптималдаштыруу схемалары аркылуу аныктоого болот. AdaTron тиешелүү квадраттык оптималдаштыруу маселеси томпок экенинен пайдаланат. Оптималдуу туруктуулукту кабылдоочу ядро трюки менен бирге колдоочу вектордук машинанын концептуалдык негизи болуп саналат.
Альтернатива
Бир нече катмарларды колдонбостон сызыктуу эмес маселелерди чечүүнүн дагы бир жолу - жогорку тартиптеги тармактарды колдонуу (сигма-пи блогу). Тармактын бул түрүндө киргизүү векторунун ар бир элементи көбөйтүлгөн киргизүүлөрдүн ар бир жуп айкалышы менен кеңейтилет (экинчи тартипте). Бул n-тартип тармагына узартылышы мүмкүн. Perceptron абдан ийкемдүү нерсе.
Бирок, эң мыкты классификатор бардык машыгуу маалыматтарын так классификациялаган класс эмес экенин унутпаңыз. Чынында эле, эгерде бизде маалыматтар бирдей варианттуу Гаусс бөлүштүрүүдөн келип чыгат деген алдын ала чектөө болсо, киргизүү мейкиндигиндеги сызыктуу бөлүнүү оптималдуу болуп саналат жана сызыктуу эмес чечим жокко чыгарылат.
Башка сызыктуу классификация алгоритмдерине Winnow, колдоо вектору жана логистикалык регрессия кирет. Перцептрон – бул универсалдуу алгоритмдер жыйындысы.
Көзөмөлдөнгөн окутуунун негизги чөйрөсү
Көзөмөлдөнгөн окутуу – бул киргизүүнү чыгарууга картага түшүргөн функцияны үйрөнүүчү машина үйрөнүү тапшырмасыI/O жуптарынын мисалдарына негизделген. Алар мисалдардын жыйындысынан турган энбелгиленген окутуу маалыматтарынын бир өзгөчөлүгүн чыгарышат. Көзөмөлдөнгөн окутууда ар бир мисал киргизүү объектисинен (көбүнчө вектор) жана керектүү чыгуу маанисинен (башкаруу сигналы деп да аталат) турган жуп болуп саналат.
Көзөмөлдөнгөн окутуу алгоритми машыгуу маалыматтарын талдап, жаңы мисалдарды көрсөтүү үчүн колдонула турган болжолдуу функцияны чыгарат. Оптималдуу сценарий алгоритмге көзгө көрүнбөгөн учурлар үчүн класс белгилерин туура аныктоого мүмкүндүк берет. Бул үйрөнүү алгоритминен үйрөнүү маалыматтарын "эстүү" жол менен көрүнбөгөн кырдаалдарга жалпылоону талап кылат.
Адам жана жаныбарлар психологиясындагы параллелдүү тапшырма көбүнчө концептуалдык үйрөнүү деп аталат.
