Ошкоркунии аномалия қаҳрамони ороми амалиёти додаҳо аст - сигнализатсияи дуд, ки пеш аз сӯхтор пичиррос мезанад.
Ба таври оддӣ: зеҳни сунъӣ мефаҳмад, ки "нормалӣ" чӣ гуна аст, ба рӯйдодҳои нав холҳои аномалия ва сипас қарор медиҳад, ки оё шахсро дар асоси остона . Шайтон дар он аст, ки шумо чӣ гуна "нормалӣ"-ро муайян мекунед, вақте ки маълумоти шумо мавсимӣ, бетартиб, ғарқшаванда ва баъзан ба шумо дурӯғ мегӯяд. [1]
Мақолаҳоеро, ки пас аз ин мақола хондан мехоҳед:
🔗 Чаро зеҳни сунъӣ метавонад ба ҷомеа зараровар бошад
Хатарҳои ахлоқӣ, иқтисодӣ ва иҷтимоии қабули васеъи зеҳни сунъиро баррасӣ мекунад.
🔗 Миқдори обе, ки системаҳои зеҳни сунъӣ воқеан истифода мебаранд.
Сардшавии маркази додаҳо, талабот ба омӯзиш ва таъсири об ба муҳити зистро шарҳ медиҳад.
🔗 Маҷмӯи додаҳои зеҳни сунъӣ чист ва чаро он муҳим аст
Маҷмӯи додаҳо, нишонгузорӣ, манбаъҳо ва нақши онҳоро дар иҷрои модел муайян мекунад.
🔗 Чӣ гуна зеҳни сунъӣ тамоюлҳоро аз маълумоти мураккаб пешгӯӣ мекунад.
Шинохти нақш, моделҳои омӯзиши мошинӣ ва истифодаи пешгӯиҳои ҷаҳони воқеиро фаро мегирад.
"Чӣ тавр зеҳни сунъӣ аномалияҳоро муайян мекунад?"
Ҷавоби хуб бояд на танҳо рӯйхати алгоритмҳоро дар бар гирад. Он бояд механика ва намуди зоҳирии онҳоро ҳангоми татбиқи онҳо ба маълумоти воқеӣ ва нокомил шарҳ диҳад. Беҳтарин шарҳҳо:
-
Компонентҳои асосиро нишон диҳед: хусусиятҳо , хатҳои ибтидоӣ , холҳо ва остонаҳо . [1]
-
Муқоисаи оилаҳои амалӣ: масофа, зичӣ, яксинф, ҷудоӣ, эҳтимолият, барқарорсозӣ. [1]
-
Идоракунии нофаҳмиҳои силсилаи вақт: "муқаррарӣ" аз вақти рӯз, рӯзи ҳафта, нашрҳо ва идҳо вобаста аст. [1]
-
Ба арзёбӣ ҳамчун як маҳдудияти воқеӣ муносибат кунед: ҳушдорҳои бардурӯғ на танҳо асабонӣкунандаанд - онҳо эътимодро месӯзонанд. [4]
-
Қобилияти тафсир + қобилияти инсонро дар ҳалқа дохил кунед, зеро "ин аҷиб аст" сабаби аслӣ нест. [5]
Механикаи асосӣ: Хатҳои асосӣ, холҳо, остонаҳо 🧠
Аксари системаҳои аномалия - бофта ё не - ба се қисми ҳаракаткунанда тақсим мешаванд:
1) Намояндагӣ (яъне: он чизе, ки модел мебинад )
Сигналҳои хом кам кофӣ мебошанд. Шумо ё хусусиятҳоро (омори ҳаракат, таносубҳо, таъхирҳо, делтаҳои мавсимӣ) тарҳрезӣ мекунед ё (ҷойгиркунӣ, зерфазоҳо, барқарорсозӣ) меомӯзед
2) Баҳогузорӣ (яъне: ин то чӣ андоза "аҷиб" аст?)
Идеяҳои маъмули баҳодиҳӣ инҳоянд:
-
Масофа : дур аз ҳамсоягон = шубҳанок. [1]
-
Зичӣ : зичии маҳаллии паст = шубҳанок (LOF фарзанди қаблӣ аст). [1]
-
Ҳудудҳои яксинфӣ : "муқаррарӣ"-ро омӯзед, он чизеро, ки берун аз он меафтад, қайд кунед. [1]
-
Эҳтимолӣ : эҳтимолияти кам дар модели мувофиқ = шубҳанок. [1]
-
Хатои барқарорсозӣ : агар модели муқаррарӣ омӯзонидашуда онро барқарор карда натавонад, эҳтимол он хомӯш аст. [1]
3) Остона (яъне: кай бояд занг занад)
Остонаҳо метавонанд собит, аз рӯи миқдор, барои ҳар як сегмент ё ба хароҷот ҳассос бошанд - аммо онҳо бояд бо буҷаҳои огоҳкунанда ва хароҷоти поёнӣ, на бо ларзишҳо, танзим карда шаванд
Як тафсилоти хеле амалӣ: детекторҳои scikit-learn холҳои хомро ва сипас як остона (аксар вақт тавассути фарзияи услуби олудашавӣ назорат карда мешавад)-ро барои табдил додани холҳо ба қарорҳои ғайриманқул/бегона истифода мебаранд. [2]
Таърифҳои зуд, ки баъдтар дардро пешгирӣ мекунанд 🧯
Ду фарқияте, ки шуморо аз хатогиҳои ночиз наҷот медиҳанд:
-
Ошкоркунии нуқтаҳои беруна : маълумоти омӯзишии шумо аллакай метавонад нуқтаҳои беруна дошта бошад; алгоритм кӯшиш мекунад, ки "минтақаи муқаррарии зич"-ро ба ҳар ҳол моделсозӣ кунад.
-
Ошкоркунии навгонӣ : маълумоти омӯзишӣ тоза ҳисобида мешавад; шумо баҳо медиҳед, ки оё нав ба намунаи муқаррарии омӯхташуда мувофиқат мекунанд ё не. [2]
таснифоти яксинфӣ тарҳрезӣ мешавад, зеро мисолҳои ғайримуқаррарӣ камёбанд ё номуайянанд. [1]
Аспҳои кории беназорат, ки шумо дар асл истифода хоҳед бурд 🧰
Вақте ки тамғакоғазҳо камёбанд (ки асосан ҳамеша чунин аст), инҳо абзорҳое мебошанд, ки дар лӯлаҳои воқеӣ пайдо мешаванд:
-
Ҷангали Изолятсия : дар бисёр ҳолатҳои ҷадвалӣ як пешфарзи қавӣ, ки дар амалия васеъ истифода мешавад ва дар scikit-learn амалӣ карда мешавад. [2]
-
SVM-и яксинфӣ : метавонад самаранок бошад, аммо ба танзим ва фарзияҳо ҳассос аст; scikit-learn ба таври возеҳ зарурати танзими бодиққати гиперпараметрро таъкид мекунад. [2]
-
Омили берунаи маҳаллӣ (LOF) : баҳодиҳии классикӣ дар асоси зичӣ; вақте ки "муқаррарӣ" як доғи хуб нест, хеле хуб аст. [1]
Дастаҳои амалии "gotcha" ҳар ҳафта аз нав кашф мекунанд: LOF вобаста ба он ки оё шумо дар маҷмӯи омӯзишӣ ошкоркунии берунаро анҷом медиҳед ё муайянкунии навгонӣ дар маълумоти нав - scikit-learn ҳатто , навгонӣ=True-ро . [2]
Як пойгоҳи мустаҳкам, ки ҳангоми нодуруст будани маълумот ҳанӯз ҳам кор мекунад 🪓
Агар шумо дар ҳолати "мо танҳо ба чизе ниёз дорем, ки моро ба фаромӯшӣ наандозад" бошед, омори боэътимод нодида гирифта мешавад.
Холи тағйирёфтаи z медиана ва MAD (инҳирофи мутлақи медиана)-ро истифода мебарад . Дастури EDA-и NIST шакли тағйирёфтаи холҳои z-ро сабт мекунад ва қоидаи маъмулан истифодашавандаи "эҳтимолияти берунравӣ"-ро дар арзиши мутлақи болотар аз 3.5 . [3]
Ин ҳар як мушкилоти аномалияро ҳал намекунад - аммо аксар вақт он як хати аввали қавии дифоъ аст, махсусан барои метрикаҳои пурғавғо ва мониторинги марҳилаи аввал. [3]
Воқеияти силсилаи вақт: "Муқаррарӣ" аз кай вобаста аст ⏱️📈
Аномалияҳои силсилаи вақт душворанд, зеро контекст тамоми нуктаро дар бар мегирад: як болоравии суръат дар нисфирӯзӣ метавонад интизор шавад; ҳамон як болоравии суръат соати 3-и субҳ метавонад маънои онро дошта бошад, ки чизе дар оташ аст. Аз ин рӯ, бисёр системаҳои амалӣ муқаррариро бо истифода аз хусусиятҳои огоҳ аз вақт (таъхирҳо, делтаҳои мавсимӣ, тирезаҳои ғелонда) модел мекунанд ва инҳирофҳоро нисбат ба намунаи интизоршуда баҳо медиҳанд. [1]
Агар шумо танҳо як қоидаро дар хотир доред: пеш аз он ки нисфи трафики худро "ғайриоддӣ" эълон кунед, сатҳи ибтидоии худро (соат/рӯз/минтақа/сатҳи хизматрасонӣ) сегмент кунед
Арзёбӣ: Доми рӯйдодҳои нодир 🧪
Муайян кардани аномалия аксар вақт "сӯзан дар теппаи алаф" аст, ки арзёбиро аҷиб мегардонад:
-
Вақте ки мусбатҳо камёбанд, каҷхатҳои ROC метавонанд ба таври фиребанда хуб ба назар расанд.
-
Намуди дақиқи бозхонд аксар вақт барои танзимоти номутавозин иттилоотӣтар аст, зеро онҳо ба самаранокии синфи мусбат тамаркуз мекунанд. [4]
-
Аз ҷиҳати амалиётӣ, ба шумо инчунин буҷаи огоҳӣ : одамон метавонанд дар як соат чанд огоҳиро бидуни қатъ кардани хашм ҷудо кунанд? [4]
Санҷиши бозгашт дар тирезаҳои ғелондашуда ба шумо кӯмак мекунад, ки ҳолати классикии нокомиро дарк кунед: "он хеле хуб кор мекунад... дар тақсимоти моҳи гузашта." [1]
Қобилияти тафсир ва сабаби аслӣ: Кори худро нишон диҳед 🪄
Огоҳӣ додан бе шарҳ мисли гирифтани як корти пурасрор аст. Муфид аст, аммо ноумедкунанда.
Воситаҳои тафсирпазирӣ метавонанд бо нишон додани он, ки кадом хусусиятҳо бештар ба холҳои аномалия мусоидат кардаанд, ё бо додани шарҳҳои услуби "барои он ки ин муқаррарӣ ба назар расад, чӣ бояд тағйир ёбад?" кӯмак расонанд. Таълими мошинии тафсиршаванда " як дастури мустаҳкам ва муҳим барои усулҳои маъмулӣ (аз ҷумла атрибутҳои услуби SHAP) ва маҳдудиятҳои онҳо мебошад. [5]
Ҳадаф на танҳо роҳати ҷонибҳои манфиатдор аст - он зудтар ҷудо кардани ашё ва камтар такрор шудани ҳодисаҳо мебошад.
Ҳалқаҳои ҷойгиркунӣ, дрифт ва фикру мулоҳизаҳо 🚀
Моделҳо дар слайдҳо зиндагӣ намекунанд. Онҳо дар қубурҳо зиндагӣ мекунанд.
Як достони маъмулии "моҳи аввал дар истеҳсолот": детектор асосан ҷойгиркунӣ, вазифаҳои гурӯҳӣ ва маълумоти гумшударо қайд мекунад... ки ин то ҳол муфид , зеро он шуморо маҷбур мекунад, ки "ҳодисаҳои сифати маълумот"-ро аз "аномалияҳои тиҷоратӣ" ҷудо кунед.
Дар амал:
-
назорат кунед ва аз нав омӯзонед/аз нав танзим кунед. [1]
-
Вурудоти холҳои сабт + версияи модел , то шумо тавонед сабаби саҳифабандии чизеро такрор кунед. [5]
-
Барои танзим кардани остонаҳо ва сегментҳо дар тӯли вақт, фикру мулоҳизаҳои инсониро (огоҳиҳои муфид ва пурғавғо) сабт кунед
Кунҷи амниятӣ: IDS ва таҳлили рафторӣ 🛡️
Гурӯҳҳои амниятӣ аксар вақт ғояҳои аномалияро бо ошкоркунии қоидаҳо омехта мекунанд: асосҳо барои "рафтори муқаррарии мизбон", инчунин имзоҳо ва сиёсатҳо барои намунаҳои бади маълум. SP 800-94 (ниҳоӣ)-и NIST ҳамчун чаҳорчӯбаи васеъ иқтибосшуда барои баррасии системаҳои ошкоркунӣ ва пешгирии дахолат боқӣ мемонад; дар он инчунин қайд карда мешавад, ки лоиҳаи "Rev. 1"-и соли 2012 ҳеҷ гоҳ ниҳоӣ нашуд ва баъдтар аз кор ронда шуд. [3]
Тарҷума: аз ML дар ҷое истифода баред, ки он кӯмак мекунад, аммо қоидаҳои дилгиркунандаро аз даст надиҳед - онҳо дилгиркунандаанд, зеро онҳо кор мекунанд.
Ҷадвали муқоисавӣ: Усулҳои маъмул дар як нигоҳ 📊
| Асбоб / Усул | Беҳтарин Барои | Чаро он кор мекунад (дар амал) |
|---|---|---|
| Холҳои z-и устувор / тағйирёфта | Метрикаҳои оддӣ, маълумоти ибтидоии зуд | Гузариши аввалини қавӣ вақте ки ба шумо "ба қадри кофӣ хуб" ва камтар хатарҳои бардурӯғ лозиманд. [3] |
| Ҷангали изолятсия | Хусусиятҳои ҷадвалӣ, омехта | Татбиқи пешфарзии устувор ва дар амал васеъ истифода мешавад. [2] |
| SVM-и яксинфӣ | Минтақаҳои компакти "муқаррарӣ" | Ошкоркунии навовариҳо дар асоси марз; танзимкунӣ хеле муҳим аст. [2] |
| Омили берунаи маҳаллӣ | Нормалҳои бисёрҷониба | Муқоисаи зичӣ нисбат ба ҳамсояҳо аҷибиятҳои маҳаллиро нишон медиҳад. [1] |
| Хатои барқарорсозӣ (масалан, услуби худкоркодер) | Нақшҳои баландченак | Дар ҳолати муқаррарӣ машқ кунед; хатогиҳои калони барқарорсозӣ метавонанд инҳирофро нишон диҳанд. [1] |
Коди фиреб: бо хатҳои асосии мустаҳкам + усули дилгиркунанда ва беназорат оғоз кунед, сипас мураккабиро танҳо дар ҷойҳое илова кунед, ки иҷорапулӣ пардохт мекунад.
Китоби хурди бозӣ: Аз сифр то огоҳиҳо 🧭
-
Аз ҷиҳати амалиётӣ "аҷиб"-ро муайян кунед (таъхир, хатари қаллобӣ, партовҳои CPU, хатари инвентаризатсия).
-
Бо як хати асосӣ (омори мустаҳкам ё остонаҳои сегментӣ) оғоз кунед. [3]
-
Як модели беназоратро ҳамчун гузариши аввал интихоб кунед (Ҷангалҳои Изолятсия / LOF / SVM-и яксинфӣ). [2]
-
Остонаҳоро бо буҷаи огоҳона муқаррар кунед ва агар натиҷаҳои мусбат камёб бошанд, бо тафаккури услуби PR арзёбӣ кунед. [4]
-
Шарҳҳо + сабти номро илова кунед , то ҳар як огоҳӣ такроршаванда ва ислоҳшаванда бошад. [5]
-
Санҷиши бозгашт, интиқол, омӯхтан, аз нав танзим кардан - фосила муқаррарӣ аст. [1]
Шумо метавонед инро дар як ҳафта комилан анҷом диҳед... бо назардошти он ки мӯҳрҳои вақтатон бо лентаи часпак ва умед якҷоя нигоҳ дошта нашудаанд. 😅
Шарҳҳои ниҳоӣ - Хеле дароз аст, ман онро нахондам🧾
Сеҳри зеҳнӣ аномалияҳоро тавассути омӯхтани тасвири амалии "муқаррарӣ", баҳодиҳии инҳирофҳо ва қайд кардани он чизе, ки аз остона мегузарад, муайян мекунад. Беҳтарин системаҳо на бо дурахшон будан, балки бо калибрченкунӣ ғолиб меоянд : хатҳои ибтидоии сегментшуда, буҷаҳои огоҳӣ, натиҷаҳои тафсиршаванда ва ҳалқаи бозгашт, ки сигналҳои пурғавғоро ба сигнали боэътимод табдил медиҳад. [1]
Иқтибосҳо
-
Пиментел ва ҳамкорон (2014) - Шарҳи ошкоркунии навгониҳо (PDF, Донишгоҳи Оксфорд) бештар хонед
-
Ҳуҷҷатҳои scikit-learn - Муайян кардани навоварӣ ва берунравӣ бештар хонед
-
Дастури электронии NIST/SEMATECH - Ошкор кардани нуқтаҳои беруна бештар хонед ва NIST CSRC - SP 800-94 (ниҳоӣ): Дастур оид ба системаҳои ошкор ва пешгирии вуруд (IDPS) бештар хонед
-
Сайто ва Ремсмейер (2015) - Нақшаи бозхонди дақиқ нисбат ба нақшаи ROC ҳангоми арзёбии таснифкунандагони дуӣ дар маҷмӯаҳои додаҳои номутавозин (PLOS ONE) .
-
Молнар - Омӯзиши мошинии тафсиршаванда (китоби вебӣ) бештар хонед