Ҷавоби кӯтоҳ: Баланд бардоштани миқёспазирии зеҳни сунъӣ тавассути омӯзонидани модел дар тасвирҳои ҷуфтшудаи паст ва баландсифат ва сипас истифодаи он барои пешгӯии пикселҳои иловагии боварибахш ҳангоми баланд бардоштани миқёс кор мекунад. Агар модел дар омӯзиш матнҳо ё чеҳраҳои монандро дида бошад, он метавонад тафсилоти боварибахш илова кунад; агар не, он метавонад артефактҳоро ба монанди галос, пӯсти мумӣ ё милт-милт дар видео "галлютсинатсия" кунад.
Хулосаҳои асосӣ:
Пешгӯӣ : Модел тафсилоти эҳтимолиро ба вуҷуд меорад, на барқарорсозии кафолатноки воқеият.
Интихоби модел : CNN-ҳо одатан устувортаранд; GAN-ҳо метавонанд тезтар ба назар расанд, аммо хатари эҷоди хусусиятҳоро доранд.
Санҷиши ашёи бофташуда : Ба ҳалқаҳо, матнҳои такрорӣ, "қариб ҳарфҳо" ва чеҳраҳои пластикӣ диққат диҳед.
Устувории видео : Аз усулҳои муваққатӣ истифода баред, вагарна шумо дурахши кадр ба кадрро хоҳед дид.
Истифодаи хавфҳои баланд : Агар дақиқӣ муҳим бошад, коркардро ошкор кунед ва натиҷаҳоро ҳамчун мисол баррасӣ кунед.
Шумо эҳтимол инро дидаед: як тасвири хурд ва қаҳваранг ба чизе табдил меёбад, ки барои чоп, пахш ё ба презентатсия партофтан бе ягон ларзиш кофӣ аст. Ин мисли фиреб аст. Ва - ба таври беҳтарин - ин як навъ аст 😅
Пас, чӣ гуна кор кардани зеҳни сунъӣ ба чизе мушаххастар аз "компютер тафсилотро такмил медиҳад" (дастӣ-мавҷӣ) ва ба "модел сохтори баландсифати эҳтимолиро дар асоси нақшҳое, ки аз бисёр мисолҳо омӯхтааст, пешгӯӣ мекунад" наздиктар аст ( Deep Learning for Image Super-resolution: A Survey ). Ин қадами пешгӯӣ тамоми бозӣ аст - ва аз ин рӯ, афзоиши зеҳни сунъӣ метавонад аҷиб ба назар расад... ё каме пластикӣ... ё ба монанди мӯйлабҳои бонусии гурбаатон.
Мақолаҳое, ки шумо метавонед баъд аз ин хонед, инҳоянд:
🔗 Чӣ тавр зеҳни сунъӣ кор мекунад
Асосҳои моделҳо, маълумот ва хулосабарориро дар зеҳни сунъӣ омӯзед.
🔗 Чӣ тавр зеҳни сунъӣ меомӯзад
Бубинед, ки чӣ гуна маълумотҳои омӯзишӣ ва фикру мулоҳизаҳо самаранокии моделро бо мурури замон беҳтар мекунанд.
🔗 Чӣ тавр зеҳни сунъӣ аномалияҳоро муайян мекунад
Фаҳмидани хатҳои ибтидоии намунаҳо ва чӣ гуна зеҳни сунъӣ рафтори ғайриоддиро зуд муайян мекунад.
🔗 Чӣ гуна зеҳни сунъӣ тамоюлҳоро пешгӯӣ мекунад
Усулҳои пешгӯиро омӯзед, ки сигналҳоро муайян мекунанд ва талаботи ояндаро пешбинӣ мекунанд.
Чӣ тавр баланд бардоштани зеҳни сунъӣ кор мекунад: идеяи асосӣ, бо суханони ҳаррӯза 🧩
Баланд бардоштани миқёс маънои баланд бардоштани қарорро дорад: пикселҳои бештар, тасвири калонтар. Баланд бардоштани миқёси анъанавӣ (ба монанди bicubic) асосан пикселҳоро дароз мекунад ва гузаришҳоро ҳамвор мекунад ( интерполятсияи bicubic ). Ин хуб аст, аммо он наметавонад нав - он танҳо интерполятсия мекунад.
Такмили зеҳни сунъӣ (AI) чизеро ҷасуртар месанҷад (дар ҷаҳони тадқиқотӣ бо номи "супер-қарор" маъруф аст) ( Омӯзиши амиқ барои тасвири супер-қарор: Тадқиқот ):
-
Он ба вуруди пастсифат назар мекунад
-
Нақшҳоро (канорҳо, матнҳо, хусусиятҳои чеҳра, зарбаҳои матнӣ, бофтани матоъ ва ғайра) шинохта метавонад
-
Пешгӯӣ мекунад, ки версияи босифат бояд гуна бошад
-
Маълумоти иловагии пикселро тавлид мекунад, ки ба ин нақшҳо мувофиқ аст
На "барқарор кардани воқеият комилан", балки бештар ба монанди "тахмини хеле боварибахш" ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ). Агар ин каме шубҳанок садо диҳад, шумо хато намекунед - аммо ин инчунин сабаби он аст, ки он ин қадар хуб кор мекунад 😄.
Ва бале, ин маънои онро дорад, ки боло бурдани зеҳни сунъӣ асосан галлютсинатсияи назоратшаванда аст... аммо бо роҳи самаранок ва бо эҳтиром ба пиксел.
Чӣ версияи хуби баланд бардоштани зеҳни сунъиро ташкил медиҳад? ✅🛠️
Агар шумо як AI-и баландсифатро (ё танзимоти пешакӣ муайяншударо) доварӣ кунед, ин аст он чизе, ки бештар муҳимтар аст:
-
Барқароркунии тафсилот бе пухтани аз ҳад зиёд.
Баланд бардоштани миқёси хуб ба маҳсулот тозагӣ ва сохтор мебахшад, на садои қаҳваранг ё сӯрохиҳои қалбакӣ. -
Интизоми
канорҳо Хатҳои тоза тоза мемонанд. Моделҳои бад канорҳоро ларзон мекунанд ё ҳалқаҳо месабзанд. -
Реализми матн.
Мӯй набояд ба зарбаи мӯқалам табдил ёбад. Хишт набояд ба мӯҳри такрории нақш табдил ёбад. -
Идоракунии садо ва фишурдасозӣ
Бисёре аз тасвирҳои ҳаррӯза то ба охир дар формати JPEG сабт карда мешаванд. Тасвири хуби баландсифат ин зарарро зиёд намекунад ( Real-ESRGAN ). -
Огоҳӣ аз чеҳра ва матн
Чеҳра ва матн ҷойҳои осонтарини муайян кардани хатогиҳо мебошанд. Моделҳои хуб бо онҳо бо нармӣ муносибат мекунанд (ё режимҳои махсус доранд). -
Мутобиқати кадрҳо (барои видео).
Агар тафсилот аз кадр ба кадр дурахшад, чашмони шумо фарёд мезананд. Такмили видео аз сабаби устувории муваққатӣ зиндагӣ ё мурданро аз сар мегузаронад ( BasicVSR (CVPR 2021) ). -
Идоракуниҳое, ки мантиқӣ ҳастанд.
Шумо слайдерҳоеро мехоҳед, ки ба натиҷаҳои воқеӣ мувофиқат мекунанд: садои паст, норавшанӣ, тоза кардани артефакт, нигоҳдории дона, тез кардан... чизҳои амалӣ.
Қоидаи ороме, ки устувор аст: "беҳтарин" баланд бардоштани миқёс аксар вақт он чизест, ки шумо онро қариб пай намебаред. Ба назар чунин мерасад, ки шумо аз аввал камераи беҳтаре доштед 📷✨
Ҷадвали муқоиса: имконоти маъмули баланд бардоштани зеҳни сунъӣ (ва барои чӣ онҳо хубанд) 📊🙂
Дар зер муқоисаи амалӣ оварда шудааст. Нархҳо қасдан номуайян мебошанд, зеро асбобҳо аз рӯи иҷозатнома, бастаҳо, хароҷоти ҳисобкунӣ ва ҳама чизҳои дигари шавқовар фарқ мекунанд.
| Асбоб / равиш | Беҳтарин барои | Фазои нархҳо | Чаро он кор мекунад (тақрибан) |
|---|---|---|---|
| Дисплейҳои болопӯши мизи корӣ бо услуби Topaz ( Topaz Photo , Topaz Video ) | Аксҳо, видео, кори осон | Пулакӣ | Моделҳои умумии қавӣ + танзими зиёд, майл ба "танҳо кор кардан" доранд... асосан |
| Хусусиятҳои навъи Adobe "Super Resolution" ( Adobe Enhance > Super Resolution ) | Суратгирон аллакай дар он экосистема ҳастанд | Обуна-y | Бозсозии тафсилоти пурра, одатан консервативӣ (камтар драмавӣ) |
| Вариантҳои Real-ESRGAN / ESRGAN ( Real-ESRGAN , ESRGAN ) | Корҳои дастӣ, таҳиягарон, гурӯҳӣ | Ройгон (аммо вақтро гарон мекунад) | Дар тафсилоти сохтор аъло аст, агар эҳтиёткор набошед, метавонад ба чеҳраҳо тунд бошад |
| Модулҳои баланд бардоштани миқёс дар асоси диффузия ( SR3 ) | Корҳои эҷодӣ, натиҷаҳои услубӣ | Омехта | Метавонад тафсилоти аҷибе эҷод кунад - инчунин метавонад бемаънӣ эҷод кунад, бинобар ин... бале |
| Баландбардорандаҳои бозӣ (услуби DLSS/FSR) ( NVIDIA DLSS , AMD FSR 2 ) | Бозӣ ва рендеринг дар вақти воқеӣ | Бастабандӣ | Маълумоти ҳаракат ва пешгӯиҳои омӯхташударо истифода мебарад - иҷрои ҳамвор ва бурднок 🕹️ |
| Хизматрасониҳои баланд бардоштани сатҳи абрӣ | Қулайӣ, пирӯзиҳои зуд | Пардохт барои истифода | Тез + миқёспазир, аммо шумо назорат ва баъзан нозукиро иваз мекунед |
| Баландбардорандаҳои зеҳни сунъӣ, ки ба видео нигаронида шудаанд ( BasicVSR , Topaz Video ) | Наворҳои кӯҳна, аниме, бойгонӣ | Пулакӣ | Ҳиллаҳои муваққатӣ барои кам кардани ларзиш + моделҳои махсуси видеоӣ |
| Баланд бардоштани миқёси телефон/галереяи "интеллектуалӣ" | Истифодаи тасодуфӣ | Дохил карда шудааст | Моделҳои сабук барои баромади писандида танзим шудаанд, на барои комилият (ҳанӯз ҳам қулай) |
Форматкунии эътирофи аҷиб: "Paid-ish" дар ин ҷадвал кори зиёдеро анҷом медиҳад. Аммо шумо фикрро мефаҳмед 😅
Сирри калон: моделҳо харитасозиро аз сифати паст ба сифати баланд меомӯзанд 🧠➡️🖼️
Дар маркази аксари такмили зеҳни сунъӣ як системаи омӯзишии назоратшаванда қарор дорад ( Тасвири Super-Resolution бо истифода аз шабакаҳои Deep Convolutional (SRCNN) ):
-
Бо тасвирҳои баландсифат оғоз кунед ("ҳақиқат")
-
Онҳоро ба версияҳои пастсифат ("вуруд") кам кунед
-
Барои барқарор кардани тасвири баландсифати аслӣ аз тасвири пастсифат моделеро омӯзонед
Бо мурури замон, модел коррелятсияҳоро ба монанди ин меомӯзад:
-
«Ин намуди хирашавии атрофи чашм одатан ба мижгонҳо тааллуқ дорад»
-
"Ин кластери пикселӣ аксар вақт матни serif-ро нишон медиҳад"
-
«Ин градиенти канорӣ ба хати бом монанд аст, на садои тасодуфӣ»
Ин азёд кардани тасвирҳои мушаххас нест (ба маънои оддӣ), ин омӯхтани сохтори оморӣ аст ( Deep Learning for Image Super-resolution: A Survey ). Инро мисли омӯхтани грамматикаи текстураҳо ва канорҳо тасаввур кунед. На грамматикаи шеър, бештар ба монанди... грамматикаи дастурии IKEA 🪑📦 (метафораи ноҷо, аммо ба қадри кофӣ наздик).
Гайкаҳо ва болтҳо: ҳангоми хулоса чӣ мешавад (ҳангоми баланд бардоштани сатҳ) ⚙️✨
Вақте ки шумо тасвирро ба як дастгоҳи баландсифати зеҳни сунъӣ ворид мекунед, одатан як лӯлаи зерин вуҷуд дорад:
-
Пешкоркард
-
Табдил додани фазои ранг (баъзан)
-
Арзишҳои пикселро ба меъёр дароред
-
Агар тасвир калон бошад, онро ба қисмҳо ҷудо кунед (санҷиши воқеияти VRAM 😭) ( анбори Real-ESRGAN (имконоти сафол) )
-
-
Истихроҷи хусусият
-
Қабатҳои аввал канорҳо, кунҷҳо ва градиентҳоро муайян мекунанд
-
Қабатҳои амиқтар нақшҳоро муайян мекунанд: матнҳо, шаклҳо, ҷузъҳои рӯй
-
-
Бозсозӣ
-
Модел харитаи хусусиятҳои баландсифатро эҷод мекунад
-
Сипас онро ба баромади воқеии пиксел табдил медиҳад
-
-
Баъд аз коркард
-
Тезкунии ихтиёрӣ
-
Кам кардани садои ихтиёрӣ
-
Саркӯбии ихтиёрии артефакт (зангзанӣ, галос, блокшавӣ)
-
Як ҷузъиёти нозук: бисёр асбобҳо дар сафолҳо бо ранги баландсифат сохта мешаванд ва сипас дарзҳоро омехта мекунанд. Асбобҳои олӣ сарҳадҳои сафолҳоро пинҳон мекунанд. Агар шумо чашмак занед, асбобҳои хуб нишонаҳои нозуки шабакаро мегузоранд. Ва бале, шумо чашмак мезанед, зеро одамон дӯст медоранд, ки камбудиҳои хурдро бо 300% зум мисли гремлинҳои хурд тафтиш кунанд 🧌
Оилаҳои асосии моделҳое, ки барои баланд бардоштани зеҳни сунъӣ истифода мешаванд (ва чаро онҳо худро фарқ мекунанд) 🤖📚
1) Сифати баланд дар асоси CNN (аспи классикии корӣ)
Шабакаҳои асабии печида дар нақшҳои маҳаллӣ хеле хубанд: канорҳо, текстураҳо, сохторҳои хурд ( Тасвир бо қарори баланд бо истифода аз шабакаҳои печида (SRCNN) ).
-
Тарафҳои мусбат: зуд, устувор, нохушиҳои камтар
-
Камбудиҳо: агар сахт тела дода шавад, метавонад каме "коркардшуда" ба назар расад
2) Баланд бардоштани миқёс дар асоси GAN (сабки ESRGAN) 🎭
Шабакаҳои рақобатии тавлидӣ (GAN) генераторро барои истеҳсоли тасвирҳои баландсифате, ки дискриминатор наметавонад онҳоро аз тасвирҳои воқеӣ фарқ кунад, меомӯзонанд ( Шабакаҳои рақобатии тавлидӣ ).
-
Тарафҳои мусбат: тафсилоти ҷолиб, сохтори таъсирбахш
-
Камбудиҳо: метавонад тафсилотеро ихтироъ кунад, ки дар он ҷо набуд - баъзан нодуруст, баъзан ғайриоддӣ ( SRGAN , ESRGAN )
GAN метавонад ба шумо он тезии ҳайратангезро диҳад. Он инчунин метавонад ба объекти портрети шумо абрӯвони иловагӣ диҳад. Пас... ҷангҳои худро интихоб кунед 😬
3) Баланд бардоштани миқёс дар асоси диффузия (рамзи эҷодии ваҳшӣ) 🌫️➡️🖼️
Моделҳои диффузия қадам ба қадам садоро кам мекунанд ва метавонанд барои тавлиди тафсилоти баландсифат роҳнамоӣ карда шаванд ( SR3 ).
-
Тарафҳои мусбат: метавонад дар тафсилоти боварибахш бениҳоят хуб бошад, махсусан барои корҳои эҷодӣ
-
Тарафҳои манфӣ: агар танзимот хашмгин бошанд, метавонад аз шахсият/сохтори аслӣ дур шавад ( SR3 )
Ин ҷоест, ки "боло бурдани миқёс" бо "аз нав тасаввур кардан" омехта мешавад. Баъзан ин маҳз ҳамон чизест, ки шумо мехоҳед. Баъзан ин тавр нест.
4) Такмили видео бо мутобиқати муваққатӣ 🎞️
Такмили видео аксар вақт мантиқи огоҳона ба ҳаракатро илова мекунад:
-
Барои устувор кардани тафсилот аз чаҳорчӯбаҳои ҳамсоя истифода мебарад ( BasicVSR (CVPR 2021) )
-
Кӯшиш мекунад, ки аз артефактҳои ларзиш ва хазидан пешгирӣ кунад
-
Аксар вақт сифати баландро бо паст кардани садо ва деинтерлейсинг якҷоя мекунад ( Topaz Video )
Агар баланд бардоштани миқёси тасвирҳо ба монанди барқарор кардани як расм бошад, баланд бардоштани миқёси видео ба монанди барқарор кардани флипбук бе тағйир додани шакли бинии қаҳрамон дар ҳар саҳифа аст. Ки... аз он ки ба назар мерасад, душвортар аст.
Чаро боло бурдани зеҳни сунъӣ баъзан қалбакӣ ба назар мерасад (ва чӣ гуна онро муайян кардан мумкин аст) 👀🚩
Баланд бардоштани зеҳни сунъӣ бо роҳҳои шинохташаванда ноком мешавад. Пас аз омӯхтани нақшҳо, шумо онҳоро дар ҳама ҷо хоҳед дид, ба монанди харидани мошини нав ва ногаҳон мушоҳида кардани он модел дар ҳар кӯча 😵💫
Умумӣ мегӯяд:
-
Пӯсти мумдор дар рӯйҳо (садои аз ҳад зиёд паст + ҳамворкунӣ)
-
Ҳалоҳои аз ҳад тезшуда дар атрофи канорҳо (қаламрави классикии "аз ҳад зиёд") ( Интерполятсияи бикубикӣ )
-
Матнҳои такрорӣ (деворҳои хиштӣ ба намунаҳои нусхабардорӣ ва часбондан табдил меёбанд)
-
Микроконтрасти қаҳваранг , ки "алгоритм"-ро фарёд мезанад
-
Иваз кардани матн, ки дар он ҳарфҳо қариб ба ҳарф табдил меёбанд (бадтарин намуд)
-
Тағйирёбии тафсилот , ки дар он хусусиятҳои хурд нозук тағйир меёбанд, махсусан дар ҷараёнҳои кори диффузия ( SR3 )
Қисми душвор: баъзан ин ашёҳо дар як нигоҳ "беҳтар" ба назар мерасанд. Мағзи шумо тезиро дӯст медорад. Аммо пас аз лаҳзае, он эҳсос мешавад... нофаҳмо.
Як тактикаи хуб ин аст, ки дур кунед ва санҷед, ки оё он дар масофаи муқаррарии тамошо табиӣ ба назар мерасад. Агар он танҳо бо 400% зум хуб ба назар расад, ин бурд нест, ин як маҳфил аст 😅
Чӣ тавр баланд бардоштани зеҳни сунъӣ кор мекунад: тарафи омӯзиш, бидуни дарди сари риёзӣ 📉🙂
Омӯзиши моделҳои баландсифат одатан инҳоро дар бар мегирад:
-
Маҷмӯаҳои додаҳои ҷуфтшуда (вуруди пастсифат, ҳадафи баландсифат) ( Тасвир бо истифода аз шабакаҳои печида (SRCNN) бо қарори баланд )
-
Функсияҳои талафот , ки барқарорсозии нодурустро ҷазо медиҳанд ( SRGAN )
Намудҳои маъмулии талафот:
-
Камшавии пиксел (L1/L2)
Дақиқӣ мебахшад. Метавонад натиҷаҳои каме нарм диҳад. -
Талафоти идрокӣ
хусусиятҳои амиқтарро муқоиса мекунад (масалан, "оё ин ба назар мерасад "), на пикселҳои дақиқ ( Perceptual Losses (Johnson et al., 2016) ). -
Талафоти муқобил (GAN)
воқеиятро ташвиқ мекунад, баъзан бо арзиши дақиқии аслӣ ( SRGAN , Шабакаҳои муқобили тавлидӣ ).
Муборизаи доимӣ вуҷуд дорад:
-
Онро ба аслӣ
вафодор ва баръакс -
Онро аз нигоҳи визуалӣ ҷолиб
Воситаҳои гуногун дар ин спектр дар ҷойҳои гуногун ҷойгир мешаванд. Ва шумо метавонед яке аз абзорҳоро вобаста ба он ки оё шумо аксҳои оилавиро барқарор мекунед ё плакатеро омода мекунед, ки дар он "зебоӣ" аз дақиқии криминалистӣ муҳимтар аст, афзалтар донед.
Ҷараёнҳои амалии корӣ: аксҳо, сканҳои кӯҳна, аниме ва видео 📸🧾🎥
Аксҳо (портретҳо, манзараҳо, аксҳои маҳсулот)
Беҳтарин амалия одатан чунин аст:
-
Аввал паст кардани садои сабук (агар лозим бошад)
-
Сатҳи олӣ бо танзимоти консервативӣ
-
Агар корҳо хеле ҳамвор ба назар расанд, ғалладонагиро баргардонед (бале, дар ҳақиқат)
Ғалладонагиҳо мисли намаканд. Аз ҳад зиёд хӯроки шомро вайрон мекунад, аммо ҳеҷ яке аз онҳо тамоман маззаи тунук надорад
Сканҳои кӯҳна ва тасвирҳои хеле фишурдашуда
Инҳо душвортаранд, зеро модел метавонад блокҳои фишурдасозиро ҳамчун "матн" баррасӣ кунад.
Санҷед:
-
Бартараф кардан ё кушодани артефакт
-
Сипас босифат
-
Сипас тезкунии сабук (на он қадар зиёд... медонам, ҳама инро мегӯянд, аммо бо вуҷуди ин)
Аниме ва санъати хаттӣ
Санъати хаттӣ аз инҳо манфиат мегирад:
-
Моделҳое, ки канорҳои тозаро нигоҳ медоранд
-
Галлютсинатсияи текстураи камшуда.
Миқёси баланд бардоштани аниме аксар вақт хеле хуб ба назар мерасад, зеро шаклҳо соддатар ва мувофиқанд. (Хушбахтона.)
Видео
Видео қадамҳои иловагиро нишон медиҳад:
-
Садои паст
-
Деинтерлейс (барои баъзе манбаъҳо)
-
Болосифат
-
Ҳамворкунӣ ё устуворкунии муваққатӣ ( BasicVSR (CVPR 2021) )
-
Аз нав ворид кардани ғалладонагиҳои ихтиёрӣ барои муттаҳидшавӣ
Агар шумо аз мутобиқати муваққатӣ сарфи назар кунед, шумо он ҷузъиёти дурахшонро мебинед. Вақте ки шумо онро пай мебаред, шумо наметавонед онро нодида гиред. Мисли курсии ғиҷирросзананда дар як ҳуҷраи ором 😖
Интихоби танзимот бе тахминҳои ваҳшӣ (як варақаи хурди фиреб) 🎛️😵💫
Ин аст як тарзи хуби оғозёбӣ:
-
Агар чеҳраҳо ба пластикӣ монанд бошанд,
паст кардани садо, тезкунии тезро кам кунед, модел ё режими нигоҳдории чеҳраро санҷед. -
Агар текстураҳо хеле шадид ба назар расанд.
Лағжандаҳои "беҳтар кардани тафсилот" ё "барқарор кардани тафсилот"-ро паст кунед ва баъдан донаҳои нозук илова кунед. -
Агар канорҳо медурахшанд.
Тезкуниро кам кунед, имконоти пахшкунии ҳалоро санҷед. -
Агар тасвир аз ҳад зиёд "AI" ба назар расад,
эҳтиёткортар бошед. Баъзан беҳтарин қадам танҳо... камтар аст.
Ҳамчунин: танҳо аз сабаби имкон доштан, андозаи 8x-ро баланд набардоштан лозим аст. 2x ё 4x-и тоза аксар вақт нуқтаи беҳтарин аст. Ғайр аз ин, шумо аз модел хоҳиш мекунед, ки дар бораи пикселҳои шумо фанфикшн нависад 📖😂
Ахлоқ, аслият ва саволи ногувори "ҳақиқат" 🧭😬
Баланд бардоштани миқёси зеҳни сунъӣ як хатро норавшан мекунад:
-
Барқарорсозӣ маънои барқарор кардани он чизеро дорад, ки дар он ҷо буд
-
Беҳбудӣ маънои илова кардани он чизеро дорад, ки набуд
Дар аксҳои шахсӣ, одатан хуб (ва зебо) аст. Дар рӯзноманигорӣ, далелҳои ҳуқуқӣ, аксбардории тиббӣ ё ҳар чизе, ки дар он садоқат муҳим аст... шумо бояд эҳтиёткор бошед ( OSAC/NIST: Дастури стандартӣ барои идоракунии тасвирҳои рақамии криминалистӣ , Дастурҳои SWGDE барои таҳлили тасвирҳои криминалистӣ ).
Қоидаи оддӣ:
-
Агар хатарҳо баланд бошанд, ба боло бурдани зеҳни сунъӣ ҳамчун мисол , на ҳамчун муайянкунанда муносибат кунед.
Ҳамчунин, ифшои маълумот дар заминаҳои касбӣ муҳим аст. На аз он сабаб, ки зеҳни сунъӣ бад аст, балки аз он сабаб, ки шунавандагон сазовори он ҳастанд, ки бидонанд, ки оё тафсилот барқарор карда шудаанд ё сабт шудаанд. Ин танҳо... эҳтиром аст.
Ёддоштҳои ниҳоӣ ва хулосаи кӯтоҳ 🧡✅
Пас, чӣ гуна баланд бардоштани сатҳи зеҳни сунъӣ кор мекунад, ин аст: моделҳо меомӯзанд, ки чӣ гуна тафсилоти баландсифат бо намунаҳои пастсифат алоқаманд аст ва сипас ҳангоми баланд бардоштани сатҳи пикселҳои иловагии боварибахшро пешгӯӣ мекунанд ( Deep Learning for Image Super-resolution: A Survey ). Вобаста аз оилаи моделҳо (CNN, GAN, паҳншавӣ, видео-temporal), ин пешгӯӣ метавонад муҳофизакор ва боэътимод бошад... ё ҷасур ва баъзан беасос бошад 😅
Хулосаи мухтасар
-
Афзоиши анъанавии пикселҳо ( интерполятсияи бикубикӣ )
-
Такмили зеҳни сунъӣ бо истифода аз қолибҳои омӯхташуда тафсилоти гумшударо пешгӯӣ мекунад ( Тасвири Super-Resolution Using Deep Convolutional Networks (SRCNN) )
-
Натиҷаҳои хуб аз модели дуруст + маҳдудият ба даст меоянд
-
Дар видео ба галосҳо, чеҳраҳои мумӣ, текстураҳои такрорӣ ва ларзишҳо диққат диҳед ( BasicVSR (CVPR 2021) )
-
Баланд бардоштани миқёс аксар вақт "бозсозии эҳтимолӣ" аст, на ҳақиқати комил ( SRGAN , ESRGAN )
Агар хоҳед, ба ман бигӯед, ки шумо чӣ чизро васеъ мекунед (чеҳраҳо, аксҳои кӯҳна, видео, аниме, сканҳои матн) ва ман стратегияи танзимотро пешниҳод мекунам, ки аз хатогиҳои маъмулии "намуди зеҳни сунъӣ" канорагирӣ мекунад 🎯🙂
Саволҳои зиёд такрормешуда
Такмили зеҳни сунъӣ ва тарзи кор кардани он
Баланд бардоштани сатҳи зеҳни сунъӣ (аксар вақт "супер-қарор" номида мешавад) бо пешгӯии тафсилоти баландсифати гумшуда аз нақшҳои омӯхташуда ҳангоми омӯзиш, қарори тасвирро зиёд мекунад. Ба ҷои он ки танҳо пикселҳоро ба монанди интерполятсияи бикубикӣ дароз кунед, модел канорҳо, текстураҳо, чеҳраҳо ва зарбаҳои ба матн монандро меомӯзад ва сипас маълумоти нави пикселиро тавлид мекунад, ки бо ин нақшҳои омӯхташуда мувофиқат мекунанд. Ин камтар "барқарор кардани воқеият" ва бештар "тахмини боварибахш" аст, ки табиӣ хонда мешавад.
Такмили зеҳни сунъӣ дар муқоиса бо тағир додани андозаи бикубикӣ ё анъанавӣ
Усулҳои анъанавии баланд бардоштани миқёс (ба монанди бикубикӣ) асосан байни пикселҳои мавҷуда интерполятсия карда, гузаришҳоро бе эҷоди тафсилоти воқеии нав ҳамвор мекунанд. Баланд бардоштани миқёси зеҳни сунъӣ ҳадафи аз нав сохтани сохтори имконпазир тавассути шинохтани ишораҳои визуалӣ ва пешгӯии он аст, ки версияҳои баландсифати ин ишораҳо чӣ гуна ба назар мерасанд. Аз ин рӯ, натиҷаҳои зеҳни сунъӣ метавонанд ба таври назаррас тезтар ба назар расанд ва инчунин онҳо метавонанд артефактҳоро ворид кунанд ё тафсилотеро, ки дар манбаъ мавҷуд набуданд, "ихтироъ" кунанд.
Чаро чеҳраҳо метавонанд мумӣ ё аз ҳад зиёд ҳамвор ба назар расанд
Чеҳраҳои мумдор одатан аз кам кардани садо ва ҳамворкунии шадид дар якҷоягӣ бо тезкунӣ, ки сохтори табиии пӯстро аз байн мебарад, ба даст меоянд. Бисёре аз асбобҳо садо ва сохтори нозукро ба ҳамин монанд коркард мекунанд, аз ин рӯ "тоза" кардани тасвир метавонад сӯрохиҳо ва тафсилоти нозукро нест кунад. Як роҳи маъмул ин кам кардани кам кардани садо ва тезкунӣ, истифодаи режими нигоҳдории рӯй, агар имконпазир бошад, ва сипас дубора ворид кардани каме дона аст, то натиҷа камтар пластикӣ ва бештар аксбардорӣ ба назар расад.
Артефактҳои маъмулии баланд бардоштани миқёси зеҳни сунъӣ, ки бояд ба онҳо диққат диҳед
Нишонаҳои маъмулӣ иборатанд аз ҳалқаҳо дар атрофи канорҳо, нақшҳои такрории матн (ба монанди хиштҳои нусхабардорӣ-часбондан), микроконтрасти қаҳваранг ва матне, ки ба "қариб ҳарфҳо" табдил меёбад. Дар ҷараёнҳои кории асосёфта ба диффузия, шумо инчунин метавонед гардиши тафсилотро бубинед, ки дар он хусусиятҳои хурд нозук тағйир меёбанд. Барои видео, ларзиш ва тафсилоти хазида дар чаҳорчӯбаҳо парчамҳои калони сурх мебошанд. Агар он танҳо дар зумкунии шадид хуб ба назар расад, танзимот эҳтимолан аз ҳад зиёд хашмгинанд.
Чӣ гуна GAN, CNN ва диффузияҳои болорав дар натиҷаҳо фарқ мекунанд
Сифати баландсифати дар асоси CNN асосёфта одатан устувортар ва пешгӯишавандатар аст, аммо агар сахт тела дода шавад, он метавонад "коркардшуда" ба назар расад. Имконоти дар асоси GAN асосёфта (услуби ESRGAN) аксар вақт сохтори шадидтар ва равшании даркшударо ба вуҷуд меоранд, аммо онҳо метавонанд тафсилоти нодурустро, махсусан дар чеҳраҳо, галлюцинатсия кунанд. Миқёси болоравии дар асоси диффузия асосёфта метавонад тафсилоти зебо ва боварибахшро ба вуҷуд орад, аммо агар танзимоти роҳнамоӣ ё қувват хеле қавӣ бошанд, он метавонад аз сохтори аслӣ дур шавад.
Стратегияи амалӣ барои пешгирӣ аз намуди зоҳирии "аз ҳад зиёд зеҳни сунъӣ"
Бо эҳтиёткорӣ оғоз кунед: пеш аз расидан ба омилҳои шадид, 2× ё 4× андозаи баландтарро интихоб кунед. Агар чеҳраҳо пластикӣ ба назар расанд, садои паст ва тезкунии рӯйро кам кунед ва режими огоҳкунандаи чеҳраро санҷед. Агар текстураҳо аз ҳад зиёд шадид шаванд, беҳтар кардани тафсилотро кам кунед ва баъдан илова кардани донаҳои нозукро баррасӣ кунед. Агар канорҳо медурахшанд, тезкуниро кам кунед ва халал ё пахш кардани артефактро санҷед. Дар бисёр вариантҳо, "камтар" ғолиб меояд, зеро он воқеияти боварибахшро нигоҳ медорад.
Пеш аз баланд бардоштани миқёс, коркарди сканҳои кӯҳна ё тасвирҳои сахт фишурдашудаи JPEG
Тасвирҳои фишурдашуда душворанд, зеро моделҳо метавонанд артефактҳои блокро ҳамчун матни воқеӣ баррасӣ кунанд ва онҳоро тақвият диҳанд. Ҷараёни маъмулии корӣ аввал тоза кардан ё кушодани артефакт, сипас баланд бардоштани миқёс ва сипас тез кардани рӯшноӣ танҳо дар ҳолати зарурӣ мебошад. Барои сканҳо, тозакунии нарм метавонад ба модел кӯмак кунад, ки ба сохтори воқеӣ диққат диҳад, на ба зарар. Ҳадаф кам кардани "ишораҳои қалбакии матн" аст, то ки баландкунандаи миқёс маҷбур нашавад, ки аз вурудҳои пурғавғо тахминҳои боэътимод кунад.
Чаро баланд бардоштани миқёси видео нисбат ба баланд бардоштани миқёси акс душвортар аст
Миқёси баланд бардоштани видео бояд дар тамоми кадрҳо мувофиқ бошад, на танҳо дар як тасвири статикӣ. Агар тафсилот аз кадр ба кадр дурахшанд, натиҷа зуд парешон мешавад. Равишҳои ба видео нигаронидашуда маълумоти муваққатиро аз кадрҳои ҳамсоя барои устувор кардани барқарорсозӣ ва пешгирӣ аз артефактҳои дурахшон истифода мебаранд. Бисёре аз ҷараёнҳои корӣ инчунин деносадо, деинтерлейсинг барои манбаъҳои муайян ва дубора ворид кардани ғалладонагиҳои ихтиёриро дар бар мегиранд, то тамоми пайдарпайӣ ба ҷои тезии сунъӣ якранг ба назар расад.
Вақте ки афзоиши зеҳни сунъӣ мувофиқ нест ё ба он такя кардан хатарнок аст
Баланд бардоштани сатҳи зеҳни сунъӣ беҳтар аст ҳамчун такмилдиҳӣ баррасӣ шавад, на ҳамчун далел. Дар заминаҳои муҳим ба монанди рӯзноманигорӣ, далелҳои ҳуқуқӣ, аксбардории тиббӣ ё кори криминалистӣ, тавлиди пикселҳои "боварбахш" метавонад гумроҳкунанда бошад, зеро он метавонад тафсилотеро илова кунад, ки сабт нашудаанд. Чаҳорчӯбаи бехатартар ин истифодаи он ба таври мисолӣ ва ошкор кардани он аст, ки раванди зеҳни сунъӣ тафсилотро барқарор кардааст. Агар дақиқӣ муҳим бошад, аслҳоро нигоҳ доред ва ҳар як қадам ва танзимоти коркардро сабт кунед.
Адабиёт
-
arXiv - Омӯзиши амиқ барои тасвири Super-resolution: Пурсиш - arxiv.org
-
arXiv - Тасвири баландсифат бо истифода аз шабакаҳои печидагии амиқ (SRCNN) - arxiv.org
-
arXiv - Real-ESRGAN - arxiv.org
-
arXiv - ESRGAN - arxiv.org
-
arXiv - SR3 - arxiv.org
-
Таҳиягари NVIDIA - NVIDIA DLSS - developer.nvidia.com
-
AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com
-
Дастрасии кушодаи Бунёди Биниши Компютерӣ (CVF) - BasicVSR: Ҷустуҷӯи ҷузъҳои муҳим дар Видеои Супер-Қатъӣ (CVPR 2021) - openaccess.thecvf.com
-
arXiv - Шабакаҳои рақобатии тавлидкунанда - arxiv.org
-
arXiv - SRGAN - arxiv.org
-
arXiv - Талафоти идрокӣ (Ҷонсон ва дигарон, 2016) - arxiv.org
-
GitHub - Анбори Real-ESRGAN (имконоти сафол) - github.com
-
Википедия - Интерполятсияи бикубикӣ - wikipedia.org
-
Топаз Лабораторияҳо - Топаз Акс - topazlabs.com
-
Топаз Лабораторияҳо - Топаз Видео - topazlabs.com
-
Маркази кӯмаки Adobe - Adobe Enhance > Super Resolution - helpx.adobe.com
-
NIST / OSAC - Дастури стандартӣ оид ба идоракунии тасвирҳои рақамии криминалистӣ (Нусхаи 1.0) - nist.gov
-
SWGDE - Дастурҳо барои таҳлили тасвирҳои криминалистӣ - swgde.org