Чӣ тавр баланд бардоштани сатҳи зеҳни сунъӣ кор мекунад? [Видео ва викторина]

Ҷавоби кӯтоҳ: Баланд бардоштани миқёспазирии зеҳни сунъӣ тавассути омӯзонидани модел дар тасвирҳои ҷуфтшудаи паст ва баландсифат ва сипас истифодаи он барои пешгӯии пикселҳои иловагии боварибахш ҳангоми баланд бардоштани миқёс кор мекунад. Агар модел дар омӯзиш матнҳо ё чеҳраҳои монандро дида бошад, он метавонад тафсилоти боварибахш илова кунад; агар не, он метавонад артефактҳоро ба монанди галос, пӯсти мумӣ ё милт-милт дар видео "галлютсинатсия" кунад. 

Хулосаҳои асосӣ:

Пешгӯӣ: Модел тафсилоти эҳтимолиро ба вуҷуд меорад, на барқарорсозии кафолатноки воқеият.

Интихоби модел: CNN-ҳо одатан устувортаранд; GAN-ҳо метавонанд тезтар ба назар расанд, аммо хатари эҷоди хусусиятҳоро доранд.

Санҷиши ашёи бофташуда: Ба ҳалқаҳо, матнҳои такрорӣ, "қариб ҳарфҳо" ва чеҳраҳои пластикӣ диққат диҳед.

Устувории видео: Аз усулҳои муваққатӣ истифода баред, вагарна шумо дурахши кадр ба кадрро хоҳед дид.

Истифодаи хавфҳои баланд: Агар дақиқӣ муҳим бошад, коркардро ошкор кунед ва натиҷаҳоро ҳамчун мисол баррасӣ кунед.

Шумо эҳтимол инро дидаед: як тасвири хурд ва қаҳваранг ба чизе табдил меёбад, ки барои чоп, пахш ё ба презентатсия партофтан бе ягон ларзиш кофӣ аст. Ин мисли фиреб аст. Ва - ба таври беҳтарин - ин як навъ аст 😅

Пас, чӣ гуна кор кардани зеҳни сунъӣ ба чизе мушаххастар аз "компютер тафсилотро такмил медиҳад" (дастӣ-мавҷӣ) ва ба "модел сохтори баландсифати эҳтимолиро дар асоси нақшҳое, ки аз бисёр мисолҳо омӯхтааст, пешгӯӣ мекунад" наздиктар аст (Deep Learning for Image Super-resolution: A Survey). Ин қадами пешгӯӣ тамоми бозӣ аст - ва аз ин рӯ, афзоиши зеҳни сунъӣ метавонад аҷиб ба назар расад... ё каме пластикӣ... ё ба монанди мӯйлабҳои бонусии гурбаатон.

Мақолаҳое, ки шумо метавонед баъд аз ин хонед, инҳоянд:

🔗 Чӣ тавр зеҳни сунъӣ кор мекунад
Асосҳои моделҳо, маълумот ва хулосабарориро дар зеҳни сунъӣ омӯзед.

🔗 Чӣ тавр зеҳни сунъӣ меомӯзад
Бубинед, ки чӣ гуна маълумотҳои омӯзишӣ ва фикру мулоҳизаҳо самаранокии моделро бо мурури замон беҳтар мекунанд.

🔗 Чӣ тавр зеҳни сунъӣ аномалияҳоро муайян мекунад
Фаҳмидани хатҳои ибтидоии намунаҳо ва чӣ гуна зеҳни сунъӣ рафтори ғайриоддиро зуд муайян мекунад.

🔗 Чӣ гуна зеҳни сунъӣ тамоюлҳоро пешгӯӣ мекунад
Усулҳои пешгӯиро омӯзед, ки сигналҳоро муайян мекунанд ва талаботи ояндаро пешбинӣ мекунанд.

Чӣ тавр баланд бардоштани зеҳни сунъӣ кор мекунад: идеяи асосӣ, бо суханони ҳаррӯза 🧩

Баланд бардоштани миқёс маънои баланд бардоштани қарорро дорад: пикселҳои бештар, тасвири калонтар. Баланд бардоштани миқёси анъанавӣ (ба монанди bicubic) асосан пикселҳоро дароз мекунад ва гузаришҳоро ҳамвор мекунад (интерполятсияи bicubic). Ин хуб аст, аммо он наметавонад нав - он танҳо интерполятсия мекунад.

Такмили зеҳни сунъӣ (AI) чизеро ҷасуртар месанҷад (дар ҷаҳони тадқиқотӣ бо номи "супер-қарор" маъруф аст) (Омӯзиши амиқ барои тасвири супер-қарор: Тадқиқот):

• Он ба вуруди пастсифат назар мекунад

• Нақшҳоро (канорҳо, матнҳо, хусусиятҳои чеҳра, зарбаҳои матнӣ, бофтани матоъ ва ғайра) шинохта метавонад

• Пешгӯӣ мекунад, ки версияи босифат бояд гуна бошад

• Маълумоти иловагии пикселро тавлид мекунад, ки ба ин нақшҳо мувофиқ аст

На "барқарор кардани воқеият комилан", балки бештар ба монанди "тахмини хеле боварибахш" (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)). Агар ин каме шубҳанок садо диҳад, шумо хато намекунед - аммо ин инчунин сабаби он аст, ки он ин қадар хуб кор мекунад 😄.

Ва бале, ин маънои онро дорад, ки боло бурдани зеҳни сунъӣ асосан галлютсинатсияи назоратшаванда аст... аммо бо роҳи самаранок ва бо эҳтиром ба пиксел.

Чӣ версияи хуби баланд бардоштани зеҳни сунъиро ташкил медиҳад? ✅🛠️

Агар шумо як AI-и баландсифатро (ё танзимоти пешакӣ муайяншударо) доварӣ кунед, ин аст он чизе, ки бештар муҳимтар аст:

• Барқароркунии тафсилот бе пухтани аз ҳад зиёд.
  Баланд бардоштани миқёси хуб ба маҳсулот тозагӣ ва сохтор мебахшад, на садои қаҳваранг ё сӯрохиҳои қалбакӣ.

• Интизоми
  канорҳо Хатҳои тоза тоза мемонанд. Моделҳои бад канорҳоро ларзон мекунанд ё ҳалқаҳо месабзанд.

• Реализми матн.
  Мӯй набояд ба зарбаи мӯқалам табдил ёбад. Хишт набояд ба мӯҳри такрории нақш табдил ёбад.

• Идоракунии садо ва фишурдасозӣ
  Бисёре аз тасвирҳои ҳаррӯза то ба охир дар формати JPEG сабт карда мешаванд. Тасвири хуби баландсифат ин зарарро зиёд намекунад (Real-ESRGAN).

• Огоҳӣ аз чеҳра ва матн
  Чеҳра ва матн ҷойҳои осонтарини муайян кардани хатогиҳо мебошанд. Моделҳои хуб бо онҳо бо нармӣ муносибат мекунанд (ё режимҳои махсус доранд).

• Мутобиқати кадрҳо (барои видео).
  Агар тафсилот аз кадр ба кадр дурахшад, чашмони шумо фарёд мезананд. Такмили видео аз сабаби устувории муваққатӣ зиндагӣ ё мурданро аз сар мегузаронад (BasicVSR (CVPR 2021)).

• Идоракуниҳое, ки мантиқӣ ҳастанд.
  Шумо слайдерҳоеро мехоҳед, ки ба натиҷаҳои воқеӣ мувофиқат мекунанд: садои паст, норавшанӣ, тоза кардани артефакт, нигоҳдории дона, тез кардан... чизҳои амалӣ.

Қоидаи ороме, ки устувор аст: "беҳтарин" баланд бардоштани миқёс аксар вақт он чизест, ки шумо онро қариб пай намебаред. Ба назар чунин мерасад, ки шумо аз аввал камераи беҳтаре доштед 📷✨

Ҷадвали муқоиса: имконоти маъмули баланд бардоштани зеҳни сунъӣ (ва барои чӣ онҳо хубанд) 📊🙂

Дар зер муқоисаи амалӣ оварда шудааст. Нархҳо қасдан номуайян мебошанд, зеро асбобҳо аз рӯи иҷозатнома, бастаҳо, хароҷоти ҳисобкунӣ ва ҳама чизҳои дигари шавқовар фарқ мекунанд.

Форматкунии эътирофи аҷиб: "Paid-ish" дар ин ҷадвал кори зиёдеро анҷом медиҳад. Аммо шумо фикрро мефаҳмед 😅

Сирри калон: моделҳо харитасозиро аз сифати паст ба сифати баланд меомӯзанд 🧠➡️🖼️

Дар маркази аксари такмили зеҳни сунъӣ як системаи омӯзишии назоратшаванда қарор дорад (Тасвири Super-Resolution бо истифода аз шабакаҳои Deep Convolutional (SRCNN)):

1. Бо тасвирҳои баландсифат оғоз кунед ("ҳақиқат")

2. Онҳоро ба версияҳои пастсифат ("вуруд") кам кунед

3. Барои барқарор кардани тасвири баландсифати аслӣ аз тасвири пастсифат моделеро омӯзонед

Бо мурури замон, модел коррелятсияҳоро ба монанди ин меомӯзад:

• «Ин намуди хирашавии атрофи чашм одатан ба мижгонҳо тааллуқ дорад»

• "Ин кластери пикселӣ аксар вақт матни serif-ро нишон медиҳад"

• «Ин градиенти канорӣ ба хати бом монанд аст, на садои тасодуфӣ»

Ин азёд кардани тасвирҳои мушаххас нест (ба маънои оддӣ), ин омӯхтани сохтори оморӣ аст (Deep Learning for Image Super-resolution: A Survey). Инро мисли омӯхтани грамматикаи текстураҳо ва канорҳо тасаввур кунед. На грамматикаи шеър, бештар ба монанди... грамматикаи дастурии IKEA 🪑📦 (метафораи ноҷо, аммо ба қадри кофӣ наздик).

Гайкаҳо ва болтҳо: ҳангоми хулоса чӣ мешавад (ҳангоми баланд бардоштани сатҳ) ⚙️✨

Вақте ки шумо тасвирро ба як дастгоҳи баландсифати зеҳни сунъӣ ворид мекунед, одатан як лӯлаи зерин вуҷуд дорад:

• Пешкоркард

  • Табдил додани фазои ранг (баъзан)

  • Арзишҳои пикселро ба меъёр дароред

  • Агар тасвир калон бошад, онро ба қисмҳо ҷудо кунед (санҷиши воқеияти VRAM 😭) (анбори Real-ESRGAN (имконоти сафол))

• Истихроҷи хусусият

  • Қабатҳои аввал канорҳо, кунҷҳо ва градиентҳоро муайян мекунанд

  • Қабатҳои амиқтар нақшҳоро муайян мекунанд: матнҳо, шаклҳо, ҷузъҳои рӯй

• Бозсозӣ

  • Модел харитаи хусусиятҳои баландсифатро эҷод мекунад

  • Сипас онро ба баромади воқеии пиксел табдил медиҳад

• Баъд аз коркард

  • Тезкунии ихтиёрӣ

  • Кам кардани садои ихтиёрӣ

  • Саркӯбии ихтиёрии артефакт (зангзанӣ, галос, блокшавӣ)

Як ҷузъиёти нозук: бисёр асбобҳо дар сафолҳо бо ранги баландсифат сохта мешаванд ва сипас дарзҳоро омехта мекунанд. Асбобҳои олӣ сарҳадҳои сафолҳоро пинҳон мекунанд. Агар шумо чашмак занед, асбобҳои хуб нишонаҳои нозуки шабакаро мегузоранд. Ва бале, шумо чашмак мезанед, зеро одамон дӯст медоранд, ки камбудиҳои хурдро бо 300% зум мисли гремлинҳои хурд тафтиш кунанд 🧌

Оилаҳои асосии моделҳое, ки барои баланд бардоштани зеҳни сунъӣ истифода мешаванд (ва чаро онҳо худро фарқ мекунанд) 🤖📚

1) Сифати баланд дар асоси CNN (аспи классикии корӣ)

Шабакаҳои асабии печида дар нақшҳои маҳаллӣ хеле хубанд: канорҳо, текстураҳо, сохторҳои хурд (Тасвир бо қарори баланд бо истифода аз шабакаҳои печида (SRCNN)).

• Тарафҳои мусбат: зуд, устувор, нохушиҳои камтар

• Камбудиҳо: агар сахт тела дода шавад, метавонад каме "коркардшуда" ба назар расад

2) Баланд бардоштани миқёс дар асоси GAN (сабки ESRGAN) 🎭

Шабакаҳои рақобатии тавлидӣ (GAN) генераторро барои истеҳсоли тасвирҳои баландсифате, ки дискриминатор наметавонад онҳоро аз тасвирҳои воқеӣ фарқ кунад, меомӯзонанд (Шабакаҳои рақобатии тавлидӣ).

• Тарафҳои мусбат: тафсилоти ҷолиб, сохтори таъсирбахш

• Камбудиҳо: метавонад тафсилотеро ихтироъ кунад, ки дар он ҷо набуд - баъзан нодуруст, баъзан ғайриоддӣ (SRGAN, ESRGAN)

GAN метавонад ба шумо он тезии ҳайратангезро диҳад. Он инчунин метавонад ба объекти портрети шумо абрӯвони иловагӣ диҳад. Пас... ҷангҳои худро интихоб кунед 😬

3) Баланд бардоштани миқёс дар асоси диффузия (рамзи эҷодии ваҳшӣ) 🌫️➡️🖼️

Моделҳои диффузия қадам ба қадам садоро кам мекунанд ва метавонанд барои тавлиди тафсилоти баландсифат роҳнамоӣ карда шаванд (SR3).

• Тарафҳои мусбат: метавонад дар тафсилоти боварибахш бениҳоят хуб бошад, махсусан барои корҳои эҷодӣ

• Тарафҳои манфӣ: агар танзимот хашмгин бошанд, метавонад аз шахсият/сохтори аслӣ дур шавад (SR3)

Ин ҷоест, ки "боло бурдани миқёс" бо "аз нав тасаввур кардан" омехта мешавад. Баъзан ин маҳз ҳамон чизест, ки шумо мехоҳед. Баъзан ин тавр нест.

4) Такмили видео бо мутобиқати муваққатӣ 🎞️

Такмили видео аксар вақт мантиқи огоҳона ба ҳаракатро илова мекунад:

• Барои устувор кардани тафсилот аз чаҳорчӯбаҳои ҳамсоя истифода мебарад (BasicVSR (CVPR 2021))

• Кӯшиш мекунад, ки аз артефактҳои ларзиш ва хазидан пешгирӣ кунад

• Аксар вақт сифати баландро бо паст кардани садо ва деинтерлейсинг якҷоя мекунад (Topaz Video)

Агар баланд бардоштани миқёси тасвирҳо ба монанди барқарор кардани як расм бошад, баланд бардоштани миқёси видео ба монанди барқарор кардани флипбук бе тағйир додани шакли бинии қаҳрамон дар ҳар саҳифа аст. Ки... аз он ки ба назар мерасад, душвортар аст.

Чаро боло бурдани зеҳни сунъӣ баъзан қалбакӣ ба назар мерасад (ва чӣ гуна онро муайян кардан мумкин аст) 👀🚩

Баланд бардоштани зеҳни сунъӣ бо роҳҳои шинохташаванда ноком мешавад. Пас аз омӯхтани нақшҳо, шумо онҳоро дар ҳама ҷо хоҳед дид, ба монанди харидани мошини нав ва ногаҳон мушоҳида кардани он модел дар ҳар кӯча 😵💫

Умумӣ мегӯяд:

• Пӯсти мумдор дар рӯйҳо (садои аз ҳад зиёд паст + ҳамворкунӣ)

• Ҳалоҳои аз ҳад тезшуда дар атрофи канорҳо (қаламрави классикии "аз ҳад зиёд") (Интерполятсияи бикубикӣ)

• Матнҳои такрорӣ (деворҳои хиштӣ ба намунаҳои нусхабардорӣ ва часбондан табдил меёбанд)

• Микроконтрасти қаҳваранг , ки "алгоритм"-ро фарёд мезанад

• Иваз кардани матн, ки дар он ҳарфҳо қариб ба ҳарф табдил меёбанд (бадтарин намуд)

• Тағйирёбии тафсилот , ки дар он хусусиятҳои хурд нозук тағйир меёбанд, махсусан дар ҷараёнҳои кори диффузия (SR3)

Қисми душвор: баъзан ин ашёҳо дар як нигоҳ "беҳтар" ба назар мерасанд. Мағзи шумо тезиро дӯст медорад. Аммо пас аз лаҳзае, он эҳсос мешавад... нофаҳмо.

Як тактикаи хуб ин аст, ки дур кунед ва санҷед, ки оё он дар масофаи муқаррарии тамошо табиӣ ба назар мерасад. Агар он танҳо бо 400% зум хуб ба назар расад, ин бурд нест, ин як маҳфил аст 😅

Чӣ тавр баланд бардоштани зеҳни сунъӣ кор мекунад: тарафи омӯзиш, бидуни дарди сари риёзӣ 📉🙂

Омӯзиши моделҳои баландсифат одатан инҳоро дар бар мегирад:

• Маҷмӯаҳои додаҳои ҷуфтшуда (вуруди пастсифат, ҳадафи баландсифат) (Тасвир бо истифода аз шабакаҳои печида (SRCNN) бо қарори баланд)

• Функсияҳои талафот , ки барқарорсозии нодурустро ҷазо медиҳанд (SRGAN)

Намудҳои маъмулии талафот:

• Камшавии пиксел (L1/L2)
  Дақиқӣ мебахшад. Метавонад натиҷаҳои каме нарм диҳад.

• Талафоти идрокӣ
  хусусиятҳои амиқтарро муқоиса мекунад (масалан, "оё ин ба назар мерасад "), на пикселҳои дақиқ (Perceptual Losses (Johnson et al., 2016)).

• Талафоти муқобил (GAN)
  воқеиятро ташвиқ мекунад, баъзан бо арзиши дақиқии аслӣ (SRGAN, Шабакаҳои муқобили тавлидӣ).

Муборизаи доимӣ вуҷуд дорад:

• Онро ба аслӣ вафодор созед ва баръакс
  

• Онро аз нигоҳи визуалӣ ҷолиб

Воситаҳои гуногун дар ин спектр дар ҷойҳои гуногун ҷойгир мешаванд. Ва шумо метавонед яке аз абзорҳоро вобаста ба он ки оё шумо аксҳои оилавиро барқарор мекунед ё плакатеро омода мекунед, ки дар он "зебоӣ" аз дақиқии криминалистӣ муҳимтар аст, афзалтар донед.

Ҷараёнҳои амалии корӣ: аксҳо, сканҳои кӯҳна, аниме ва видео 📸🧾🎥

Аксҳо (портретҳо, манзараҳо, аксҳои маҳсулот)

Беҳтарин амалия одатан чунин аст:

• Аввал паст кардани садои сабук (агар лозим бошад)

• Сатҳи олӣ бо танзимоти консервативӣ

• Агар корҳо хеле ҳамвор ба назар расанд, ғалладонагиро баргардонед (бале, дар ҳақиқат)

Ғалладонагиҳо мисли намаканд. Аз ҳад зиёд хӯроки шомро вайрон мекунад, аммо ҳеҷ яке аз онҳо тамоман маззаи тунук надорад

Сканҳои кӯҳна ва тасвирҳои хеле фишурдашуда

Инҳо душвортаранд, зеро модел метавонад блокҳои фишурдасозиро ҳамчун "матн" баррасӣ кунад.
Санҷед:

• Бартараф кардан ё кушодани артефакт

• Сипас босифат

• Сипас тезкунии сабук (на он қадар зиёд... медонам, ҳама инро мегӯянд, аммо бо вуҷуди ин)

Аниме ва санъати хаттӣ

Санъати хаттӣ аз инҳо манфиат мегирад:

• Моделҳое, ки канорҳои тозаро нигоҳ медоранд

• Галлютсинатсияи текстураи камшуда.
  Миқёси баланд бардоштани аниме аксар вақт хеле хуб ба назар мерасад, зеро шаклҳо соддатар ва мувофиқанд. (Хушбахтона.)

Видео

Видео қадамҳои иловагиро нишон медиҳад:

• Садои паст

• Деинтерлейс (барои баъзе манбаъҳо)

• Болосифат

• Ҳамворкунӣ ё устуворкунии муваққатӣ (BasicVSR (CVPR 2021))

• Аз нав ворид кардани ғалладонагиҳои ихтиёрӣ барои муттаҳидшавӣ

Агар шумо аз мутобиқати муваққатӣ сарфи назар кунед, шумо он ҷузъиёти дурахшонро мебинед. Вақте ки шумо онро пай мебаред, шумо наметавонед онро нодида гиред. Мисли курсии ғиҷирросзананда дар як ҳуҷраи ором 😖

Интихоби танзимот бе тахминҳои ваҳшӣ (як варақаи хурди фиреб) 🎛️😵💫

Ин аст як тарзи хуби оғозёбӣ:

• Агар чеҳраҳо ба пластикӣ монанд бошанд,
  паст кардани садо, тезкунии тезро кам кунед, модел ё режими нигоҳдории чеҳраро санҷед.

• Агар текстураҳо хеле шадид ба назар расанд.
  Лағжандаҳои "беҳтар кардани тафсилот" ё "барқарор кардани тафсилот"-ро паст кунед ва баъдан донаҳои нозук илова кунед.

• Агар канорҳо медурахшанд.
  Тезкуниро кам кунед, имконоти пахшкунии ҳалоро санҷед.

• Агар тасвир аз ҳад зиёд "AI" ба назар расад,
  эҳтиёткортар бошед. Баъзан беҳтарин қадам танҳо... камтар аст.

Ҳамчунин: танҳо аз сабаби имкон доштан, андозаи 8x-ро баланд набардоштан лозим аст. 2x ё 4x-и тоза аксар вақт нуқтаи беҳтарин аст. Ғайр аз ин, шумо аз модел хоҳиш мекунед, ки дар бораи пикселҳои шумо фанфикшн нависад 📖😂

Ахлоқ, аслият ва саволи ногувори "ҳақиқат" 🧭😬

Баланд бардоштани миқёси зеҳни сунъӣ як хатро норавшан мекунад:

• Барқарорсозӣ маънои барқарор кардани он чизеро дорад, ки дар он ҷо буд

• Беҳбудӣ маънои илова кардани он чизеро дорад, ки набуд

Дар аксҳои шахсӣ, одатан хуб (ва зебо) аст. Дар рӯзноманигорӣ, далелҳои ҳуқуқӣ, аксбардории тиббӣ ё ҳар чизе, ки дар он садоқат муҳим аст... шумо бояд эҳтиёткор бошед (OSAC/NIST: Дастури стандартӣ барои идоракунии тасвирҳои рақамии криминалистӣ, Дастурҳои SWGDE барои таҳлили тасвирҳои криминалистӣ).

Қоидаи оддӣ:

• Агар хатарҳо баланд бошанд, ба боло бурдани зеҳни сунъӣ ҳамчун мисол, на ҳамчун муайянкунанда муносибат кунед.

Ҳамчунин, ифшои маълумот дар заминаҳои касбӣ муҳим аст. На аз он сабаб, ки зеҳни сунъӣ бад аст, балки аз он сабаб, ки шунавандагон сазовори он ҳастанд, ки бидонанд, ки оё тафсилот барқарор карда шудаанд ё сабт шудаанд. Ин танҳо... эҳтиром аст.

Ёддоштҳои ниҳоӣ ва хулосаи кӯтоҳ 🧡✅

Пас, чӣ гуна баланд бардоштани сатҳи зеҳни сунъӣ кор мекунад, ин аст: моделҳо меомӯзанд, ки чӣ гуна тафсилоти баландсифат бо намунаҳои пастсифат алоқаманд аст ва сипас ҳангоми баланд бардоштани сатҳи пикселҳои иловагии боварибахшро пешгӯӣ мекунанд ( Deep Learning for Image Super-resolution: A Survey ). Вобаста аз оилаи моделҳо (CNN, GAN, паҳншавӣ, видео-temporal), ин пешгӯӣ метавонад муҳофизакор ва боэътимод бошад... ё ҷасур ва баъзан беасос бошад 😅

Хулосаи мухтасар

• Афзоиши анъанавии пикселҳо (интерполятсияи бикубикӣ)

• Такмили зеҳни сунъӣ бо истифода аз қолибҳои омӯхташуда тафсилоти гумшударо пешгӯӣ мекунад (Тасвири Super-Resolution Using Deep Convolutional Networks (SRCNN))

• Натиҷаҳои хуб аз модели дуруст + маҳдудият ба даст меоянд

• Дар видео ба галосҳо, чеҳраҳои мумӣ, текстураҳои такрорӣ ва ларзишҳо диққат диҳед (BasicVSR (CVPR 2021))

• Баланд бардоштани миқёс аксар вақт "бозсозии эҳтимолӣ" аст, на ҳақиқати комил (SRGAN, ESRGAN)

Агар хоҳед, ба ман бигӯед, ки шумо чӣ чизро васеъ мекунед (чеҳраҳо, аксҳои кӯҳна, видео, аниме, сканҳои матн) ва ман стратегияи танзимотро пешниҳод мекунам, ки аз хатогиҳои маъмулии "намуди зеҳни сунъӣ" канорагирӣ мекунад 🎯🙂

Мисоли воқеӣ: Такмили аксҳои маҳсулоти кӯҳнаи бозор 📸

Сенария

Як мағозаи хурди камераҳои дасти дуюм 40 акси маҳсулотро аз вебсайти кӯҳна бо паҳнои 800 пиксел содир кардааст. Соҳиб мехоҳад онҳоро дар саҳифаи нави тиҷорати электронӣ, ки дар он андозаи тавсияшудаи тасвир 1600 пиксел паҳно дорад, дубора истифода барад.

Мушкилот: тағир додани андозаи муқаррарӣ камераҳоро нарм менамояд, дар ҳоле ки афзоиши хашмгинонаи зеҳни сунъӣ метавонад дастакҳои резинӣ, рақамҳои силсилавӣ ва аломатҳои линзаро ба таври шубҳанок қалбакӣ ба назар расонад. Ин муҳим аст, зеро харидорон пеш аз харид ба ин тафсилот такя мекунанд.

Ҳадаф "барқарор кардани" маълумоти гумшуда ба таври комил нест. Он эҷоди тасвирҳои тозатари рӯйхат аст ва ҳамзамон файлҳои аслиро дастрас нигоҳ медорад, зеро афзоиши зеҳни сунъӣ тафсилоти эҳтимолиро пешгӯӣ мекунад, на ҳақиқати кафолатдодашуда.

Чӣ ба ҷараёни кор ниёз дорад

Аксҳои аслии маҳсулот, беҳтарин вариантҳои камтар фишурдашуда

Андозаи баромади мақсаднок, ба монанди паҳнои 2× боло аз 800 пиксел то 1600 пиксел

Асбоб ё моделе, ки дорои идоракунии алоҳида барои паст кардани садо, тезкунӣ ва тоза кардани артефактҳо мебошад

Рӯйхати санҷишии оддии баррасӣ барои матн, канорҳо, логотипҳо, винтҳо, тугмаҳо, донаҳои чармӣ ва инъикосҳо

Як ҷузвдон барои аслҳо ва як ҷузвдони алоҳида барои содироти таҳриршуда, то ҳеҷ чиз аз нав навишта нашавад

Намунаи дастур

Ҳангоми санҷиши болоравии зеҳни сунъӣ аз ин гуна дастурҳо истифода баред:

Барои рӯйхати тиҷорати электронӣ, андозаи ин акси маҳсулотро 2 маротиба зиёд кунед. Шакли объект, ҷойгиршавии логотип, аломатҳои линза, канорҳои тугмаҳо ва сохтори сатҳро то ҳадди имкон ба асл наздик нигоҳ доред. Тозакунии фишурдасозии мулоим, тезкунии пастро истифода баред ва аз эҷоди матни иловагӣ, харошидан, тамғакоғазҳо, рақамҳои силсилавӣ ё тафсилоти ороишӣ худдорӣ намоед. Тасвири ниҳоӣ бояд дар андозаи муқаррарии саҳифаи маҳсулот табиӣ ба назар расад, на дар зум 400% сунъӣ тез.

Чӣ тавр онро санҷидан мумкин аст

Пеш аз коркарди пурраи маҷмӯъ, бо панҷ тасвири омехта оғоз кунед:

Як акси маҳсулоти тоза бо равшании хуб

Як тасвири фишурдашуда бо JPEG бо блокӣ

Як акс бо матни чопшуда ё аломатҳои линзаи хурд

Як тасвири торик бо садо дар сояҳо

Як тасвир бо металл ё шишаи инъикоскунанда

Пас аз баланд бардоштани миқёс, ҳар як натиҷаро бо натиҷаи аслӣ дар 100% ва 200% муқоиса кунед. Санҷед, ки оё номҳои брендҳо, сиферблатҳо, винтҳо, портҳо ва нақшҳои текстура то ҳол мувофиқат мекунанд. Агар модел "қариб ҳарфҳо" ё аломатҳои қалбакии сатҳӣ эҷод кунад, танзимоти тезкунӣ ё барқароркунии тафсилотро паст кунед.

Натиҷа

Натиҷаи тасвирӣ: бар асоси вақтсанҷӣ барои санҷиши панҷтасвирӣ пеш аз ва баъд аз истифодаи ин ҷараёни корӣ.

Тозакунӣ ва тағир додани андозаи дастӣ барои ҳар як тасвир тақрибан 9 дақиқа ё барои панҷ тасвир 45 дақиқа вақтро гирифт.

Ҷараёни кори бо ёрии зеҳни сунъӣ барои як тасвир тақрибан 3 дақиқа ё барои панҷ тасвир 15 дақиқа вақтро гирифт.

Ин тақрибан 30 дақиқа дар панҷ тасвир ё тақрибан 4 соат дар як бастаи 40 тасвир сарфа шудааст.

Натиҷаи санҷиши сифат: 4 аз 5 тасвир аз баррасии аввал гузашт. Як тасвир ноком шуд, зеро миқёси болоӣ матни линзаи хурдро таҳриф кард, аз ин рӯ он бо тезкунии пасттар ва бе такмили матн аз нав коркард карда шуд.

Меъёри арзишманд дар ин ҷо на танҳо "тезтар ба назар мерасад", балки ин аст: чанд тасвир бе тафсилоти сохта аз баррасии паҳлӯӣ мегузаранд?

Чӣ метавонад хато кунад

Модел метавонад чанг, блокҳои JPEG ё харошиданҳоро ба матни "воқеӣ" табдил диҳад.

Матни хурд метавонад ба матни қалбакӣ табдил ёбад, ки то наздик кардани шумо боварибахш ба назар мерасад.

Садои аз ҳад зиёд метавонад резин, чарм ё металли чӯбиншударо ба шакли мум монанд кунад.

Тезкунии қавӣ метавонад дар атрофи канорҳои маҳсулот ҳалоҳо эҷод кунад.

Коркарди партиявӣ метавонад хатогиҳоро пинҳон кунад, аз ин рӯ, пеш аз содир кардани ҳама чиз, намунаро аз назар гузаронед.

Барои тиҷорати электронӣ, қоидаи бехатартарин содда аст: ҳеҷ гоҳ аз баланд бардоштани зеҳни сунъӣ барои пинҳон кардани зарар, тағир додани ҳолат ё навтар кардани маҳсулот аз он истифода набаред.

Хулосаи амалӣ

Баланд бардоштани миқёси зеҳни сунъӣ вақте беҳтар кор мекунад, ки шумо онро ҳамчун қадами анҷомдиҳии назоратшаванда, на ҳамчун тугмаи ҷодугарии таъмир, баррасӣ кунед. Танзимоти консервативии 2×-ро истифода баред, тафсилотеро, ки харидорон ба онҳо аҳамият медиҳанд, тафтиш кунед ва тасвири аслиро нигоҳ доред, то версияи таҳриршуда боэътимод боқӣ монад.

Мисоли воқеӣ: Такмил додани андозаи видеои кӯҳнаи омӯзишӣ бе он ки онро дурахшонтар кунад

Сенария

Як ширкати хурди омӯзишӣ видеои 7-дақиқаии намоишии бехатариро дар соли 2014 бо суръати 720p сабт кардааст. Мундариҷа то ҳол арзиш дорад, аммо навор дар вебсайти нави ширкат, махсусан дар экранҳои калонтари ноутбукҳо, нарм ба назар мерасад.

Гурӯҳ мехоҳад версияи тозатари 1080p-ро бидуни аз нав сабт кардан содир кунад. Хатар дар он аст, ки миқёси хашмгинонаи зеҳни сунъӣ метавонад чеҳраҳоро ба шакли мумӣ нишон диҳад, матнро дар аломатҳо ба "қариб калимаҳо" табдил диҳад ё аз чаҳорчӯба ба чаҳорчӯба матни дурахшон эҷод кунад.

Ҳадаф ин нест, ки видео нав ба назар расад. Он бояд онро равшантар, устувортар ва камтар фишурдашуда гардонад ва дар айни замон чеҳраи муаллим, тамғакоғазҳои огоҳкунанда, ҳаракатҳои даст ва тафсилоти таҷҳизотро ба асл содиқ нигоҳ дорад.

Чӣ ба ҷараёни кор ниёз дорад

Файли аслии видео, на зеркашии фишурдашуда аз шабакаҳои иҷтимоӣ, агар имкон бошад

Андозаи содироти мақсаднок, ба монанди 720p то 1080p, ба ҷои он ки мустақиман ба 4K гузаред

Такмилдиҳандаи видео бо имконоти паст кардани садо, тезкунӣ, таъмири фишурдасозӣ ва мутобиқати муваққатӣ

Клипи кӯтоҳи санҷишӣ бо чеҳраҳо, ҳаракат, матн ва сатҳҳои муфассал

Рӯйхати санҷишии баррасӣ барои милт-милт, ҳалос, матни каҷ, сохтори рӯй ва кунҷҳои ҳаракаткунанда

Нусхаи захирашудаи видеои аслӣ барои муқоиса ва ошкоркунӣ, агар лозим бошад

Намунаи дастур

Пеш аз коркарди пурраи видео, ин гуна дастурро истифода баред:

Ин видеои омӯзишии 720p-ро то 1080p баланд бардоред. Ба ҳаракати табиӣ, кунҷҳои устувор, матни мавҷудаи хондашаванда ва сохтори воқеии пӯст афзалият диҳед. Таъмири фишурдасозии мулоим ва тезкунии пастро истифода баред. Матни гумшуда, логотипҳо, тамғакоғазҳо, харошиданҳо, тафсилоти рӯй ё аломатҳои таҷҳизотро эҷод накунед. Аз дурахши чаҳорчӯба ба чаҳорчӯба худдорӣ кунед. Натиҷаи ниҳоӣ бояд дар андозаи муқаррарии тамошо равшантар ба назар расад, на ҳангоми таваққуф ва наздик кардан тези сунъӣ.

Чӣ тавр онро санҷидан мумкин аст

Пеш аз коркарди файли пурраи 7-дақиқаӣ, намунаи 20-сонияро содир кунед, ки инҳоро дар бар мегирад:

Чеҳраи муаллим ҳангоми суханронӣ

Дасте, ки дар чаҳорчӯба ҳаракат мекунад

Нишони огоҳкунанда ё матни чопии хурд

Сатҳи бофташуда, ба монанди матоъ, бетон, металли хасу ё пластикӣ

Панели камера ё ҳар гуна ҳаракати ларзон

Намунаро ду маротиба тамошо кунед: як бор бо суръати муқаррарӣ ва як бор бо таваққуф дар кадр ба кадр. Дар суръати муқаррарӣ, ба ларзиш, матни хазидашаванда ё ҳаракати ғайритабиӣ дар атрофи канорҳо диққат диҳед. Ҳангоми таваққуф, версияҳои аслӣ ва миқёси баландтарро муқоиса кунед, то бубинед, ки оё матн, тугмаҳо, асбобҳо ва хусусиятҳои чеҳра то ҳол мувофиқанд ё не.

Натиҷа

Натиҷаи тасвирӣ: бар асоси вақтсанҷӣ кардани як клипи санҷишии 20-сония ва сипас татбиқи ҳамон танзимот ба видеои 7-дақиқаӣ.

Ҷараёни кори дастӣ бо истифода аз "андоза тағир диҳед ва тез кунед", тақрибан 35 дақиқа вақтро гирифт, аз ҷумла содирот ва баррасӣ, аммо натиҷа дар мӯи муаллим дурахши намоён ва дар атрофи аломатҳои бехатарӣ ҳалқаҳо нишон дод.

Ҷараёни кори бо ёрии зеҳни сунъӣ тақрибан 55 дақиқа вақтро дар бар гирифт, аз ҷумла содироти санҷишӣ, аммо мушкилоти баррасӣро аз 8 мушкилоти намоён дар содироти аввал то 2 мушкилоти ночиз дар содироти ниҳоӣ коҳиш дод.

Нусхаи ниҳоӣ аз 12 санҷиши рӯйхати баррасишаванда 10 холро супорид. Ду масъалаи боқимонда нармии ночиз дар матни замина ва садои сабук дар як гӯшаи торик буданд. Ҳарду қабул карда шуданд, зеро муаллим, таҷҳизот ва қадамҳои бехатарӣ аз ҷиҳати визуалӣ якхела буданд.

Меъёри пурмазмун дар ин ҷо "ба даст овардани 1080p" нест. Ин аст: чанд сонияи видео ҳангоми навохтани муқаррарӣ артефактҳои парешонкунандаро нишон медиҳад?

Чӣ метавонад хато кунад

Ин модел метавонад блокҳои фишурдасозиро тез кунад ва онҳоро ба матни аслӣ монанд кунад.

Матни нозук метавонад боэътимодтар ба назар расад, аммо дақиқтар набошад.

Агар сатҳи пасти садо аз ҳад зиёд бошад, чеҳраҳо метавонанд хеле ҳамвор шаванд.

Агар асбоб ҳар як чаҳорчӯбаро аз ҳад зиёд мустақилона коркард кунад, кунҷҳои ҳаракаткунанда метавонанд дурахшанд.

Содироти 4K метавонад нисбат ба содироти маҳдуди 1080p бадтар ба назар расад, зеро модел бояд тафсилоти аз ҳад зиёдро ихтироъ кунад.

Хатои бузургтарин ин арзёбии танҳо як чаҳорчӯбаи таваққуфшуда аст. Миқёси баланд бардоштани сифати видео бояд дар ҳаракат табиӣ ба назар расад, на танҳо ҳамчун як тасвири ором.

Хулосаи амалӣ

Барои видео, баланд бардоштани сифати зеҳни сунъӣ вақте беҳтар кор мекунад, ки аввал қисмати кӯтоҳро санҷед, сифати баландро мӯътадил нигоҳ доред ва пеш аз равшанӣ ҳаракатро арзёбӣ кунед. Натиҷаи каме нармтар, вале устувор одатан аз версияи равшане, ки ҳар дафъа ҳангоми ҳаракати касе милт-милт мекунад, беҳтар аст.

Саволҳои зиёд такрормешуда

Такмили зеҳни сунъӣ ва тарзи кор кардани он

Баланд бардоштани сатҳи зеҳни сунъӣ (аксар вақт "супер-қарор" номида мешавад) бо пешгӯии тафсилоти баландсифати гумшуда аз нақшҳои омӯхташуда ҳангоми омӯзиш, қарори тасвирро зиёд мекунад. Ба ҷои он ки танҳо пикселҳоро ба монанди интерполятсияи бикубикӣ дароз кунед, модел канорҳо, текстураҳо, чеҳраҳо ва зарбаҳои ба матн монандро меомӯзад ва сипас маълумоти нави пикселиро тавлид мекунад, ки бо ин нақшҳои омӯхташуда мувофиқат мекунанд. Ин камтар "барқарор кардани воқеият" ва бештар "тахмини боварибахш" аст, ки табиӣ хонда мешавад.

Такмили зеҳни сунъӣ дар муқоиса бо тағир додани андозаи бикубикӣ ё анъанавӣ

Усулҳои анъанавии баланд бардоштани миқёс (ба монанди бикубикӣ) асосан байни пикселҳои мавҷуда интерполятсия карда, гузаришҳоро бе эҷоди тафсилоти воқеии нав ҳамвор мекунанд. Баланд бардоштани миқёси зеҳни сунъӣ ҳадафи аз нав сохтани сохтори имконпазир тавассути шинохтани ишораҳои визуалӣ ва пешгӯии он аст, ки версияҳои баландсифати ин ишораҳо чӣ гуна ба назар мерасанд. Аз ин рӯ, натиҷаҳои зеҳни сунъӣ метавонанд ба таври назаррас тезтар ба назар расанд ва инчунин онҳо метавонанд артефактҳоро ворид кунанд ё тафсилотеро, ки дар манбаъ мавҷуд набуданд, "ихтироъ" кунанд.

Чаро чеҳраҳо метавонанд мумӣ ё аз ҳад зиёд ҳамвор ба назар расанд

Чеҳраҳои мумдор одатан аз кам кардани садо ва ҳамворкунии шадид дар якҷоягӣ бо тезкунӣ, ки сохтори табиии пӯстро аз байн мебарад, ба даст меоянд. Бисёре аз асбобҳо садо ва сохтори нозукро ба ҳамин монанд коркард мекунанд, аз ин рӯ "тоза" кардани тасвир метавонад сӯрохиҳо ва тафсилоти нозукро нест кунад. Як роҳи маъмул ин кам кардани кам кардани садо ва тезкунӣ, истифодаи режими нигоҳдории рӯй, агар имконпазир бошад, ва сипас дубора ворид кардани каме дона аст, то натиҷа камтар пластикӣ ва бештар аксбардорӣ ба назар расад.

Артефактҳои маъмулии баланд бардоштани миқёси зеҳни сунъӣ, ки бояд ба онҳо диққат диҳед

Нишонаҳои маъмулӣ иборатанд аз ҳалқаҳо дар атрофи канорҳо, нақшҳои такрории матн (ба монанди хиштҳои нусхабардорӣ-часбондан), микроконтрасти қаҳваранг ва матне, ки ба "қариб ҳарфҳо" табдил меёбад. Дар ҷараёнҳои кории асосёфта ба диффузия, шумо инчунин метавонед гардиши тафсилотро бубинед, ки дар он хусусиятҳои хурд нозук тағйир меёбанд. Барои видео, ларзиш ва тафсилоти хазида дар чаҳорчӯбаҳо парчамҳои калони сурх мебошанд. Агар он танҳо дар зумкунии шадид хуб ба назар расад, танзимот эҳтимолан аз ҳад зиёд хашмгинанд.

Чӣ гуна GAN, CNN ва диффузияҳои болорав дар натиҷаҳо фарқ мекунанд

Сифати баландсифати дар асоси CNN асосёфта одатан устувортар ва пешгӯишавандатар аст, аммо агар сахт тела дода шавад, он метавонад "коркардшуда" ба назар расад. Имконоти дар асоси GAN асосёфта (услуби ESRGAN) аксар вақт сохтори шадидтар ва равшании даркшударо ба вуҷуд меоранд, аммо онҳо метавонанд тафсилоти нодурустро, махсусан дар чеҳраҳо, галлюцинатсия кунанд. Миқёси болоравии дар асоси диффузия асосёфта метавонад тафсилоти зебо ва боварибахшро ба вуҷуд орад, аммо агар танзимоти роҳнамоӣ ё қувват хеле қавӣ бошанд, он метавонад аз сохтори аслӣ дур шавад.

Стратегияи амалӣ барои пешгирӣ аз намуди зоҳирии "аз ҳад зиёд зеҳни сунъӣ"

Бо эҳтиёткорӣ оғоз кунед: пеш аз расидан ба омилҳои шадид, 2× ё 4× андозаи баландтарро интихоб кунед. Агар чеҳраҳо пластикӣ ба назар расанд, садои паст ва тезкунии рӯйро кам кунед ва режими огоҳкунандаи чеҳраро санҷед. Агар текстураҳо аз ҳад зиёд шадид шаванд, беҳтар кардани тафсилотро кам кунед ва баъдан илова кардани донаҳои нозукро баррасӣ кунед. Агар канорҳо медурахшанд, тезкуниро кам кунед ва халал ё пахш кардани артефактро санҷед. Дар бисёр вариантҳо, "камтар" ғолиб меояд, зеро он воқеияти боварибахшро нигоҳ медорад.

Пеш аз баланд бардоштани миқёс, коркарди сканҳои кӯҳна ё тасвирҳои сахт фишурдашудаи JPEG

Тасвирҳои фишурдашуда душворанд, зеро моделҳо метавонанд артефактҳои блокро ҳамчун матни воқеӣ баррасӣ кунанд ва онҳоро тақвият диҳанд. Ҷараёни маъмулии корӣ аввал тоза кардан ё кушодани артефакт, сипас баланд бардоштани миқёс ва сипас тез кардани рӯшноӣ танҳо дар ҳолати зарурӣ мебошад. Барои сканҳо, тозакунии нарм метавонад ба модел кӯмак кунад, ки ба сохтори воқеӣ диққат диҳад, на ба зарар. Ҳадаф кам кардани "ишораҳои қалбакии матн" аст, то ки баландкунандаи миқёс маҷбур нашавад, ки аз вурудҳои пурғавғо тахминҳои боэътимод кунад.

Чаро баланд бардоштани миқёси видео нисбат ба баланд бардоштани миқёси акс душвортар аст

Миқёси баланд бардоштани видео бояд дар тамоми кадрҳо мувофиқ бошад, на танҳо дар як тасвири статикӣ. Агар тафсилот аз кадр ба кадр дурахшанд, натиҷа зуд парешон мешавад. Равишҳои ба видео нигаронидашуда маълумоти муваққатиро аз кадрҳои ҳамсоя барои устувор кардани барқарорсозӣ ва пешгирӣ аз артефактҳои дурахшон истифода мебаранд. Бисёре аз ҷараёнҳои корӣ инчунин деносадо, деинтерлейсинг барои манбаъҳои муайян ва дубора ворид кардани ғалладонагиҳои ихтиёриро дар бар мегиранд, то тамоми пайдарпайӣ ба ҷои тезии сунъӣ якранг ба назар расад.

Вақте ки афзоиши зеҳни сунъӣ мувофиқ нест ё ба он такя кардан хатарнок аст

Баланд бардоштани сатҳи зеҳни сунъӣ беҳтар аст ҳамчун такмилдиҳӣ баррасӣ шавад, на ҳамчун далел. Дар заминаҳои муҳим ба монанди рӯзноманигорӣ, далелҳои ҳуқуқӣ, аксбардории тиббӣ ё кори криминалистӣ, тавлиди пикселҳои "боварбахш" метавонад гумроҳкунанда бошад, зеро он метавонад тафсилотеро илова кунад, ки сабт нашудаанд. Чаҳорчӯбаи бехатартар ин истифодаи он ба таври мисолӣ ва ошкор кардани он аст, ки раванди зеҳни сунъӣ тафсилотро барқарор кардааст. Агар дақиқӣ муҳим бошад, аслҳоро нигоҳ доред ва ҳар як қадам ва танзимоти коркардро сабт кунед.

Адабиёт

1. arXiv - Омӯзиши амиқ барои тасвири Super-resolution: Пурсиш - arxiv.org

2. arXiv - Тасвири баландсифат бо истифода аз шабакаҳои печидагии амиқ (SRCNN) - arxiv.org

3. arXiv - Real-ESRGAN - arxiv.org

4. arXiv - ESRGAN - arxiv.org

5. arXiv - SR3 - arxiv.org

6. Таҳиягари NVIDIA - NVIDIA DLSS - developer.nvidia.com

7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

8. Дастрасии кушодаи Бунёди Биниши Компютерӣ (CVF) - BasicVSR: Ҷустуҷӯи ҷузъҳои муҳим дар Видеои Супер-Қатъӣ (CVPR 2021) - openaccess.thecvf.com

9. arXiv - Шабакаҳои рақобатии тавлидкунанда - arxiv.org

10. arXiv - SRGAN - arxiv.org

11. arXiv - Талафоти идрокӣ (Ҷонсон ва дигарон, 2016) - arxiv.org

12. GitHub - Анбори Real-ESRGAN (имконоти сафол) - github.com

13. Википедия - Интерполятсияи бикубикӣ - wikipedia.org

14. Топаз Лабораторияҳо - Топаз Акс - topazlabs.com

15. Топаз Лабораторияҳо - Топаз Видео - topazlabs.com

16. Маркази кӯмаки Adobe - Adobe Enhance > Super Resolution - helpx.adobe.com

17. NIST / OSAC - Дастури стандартӣ оид ба идоракунии тасвирҳои рақамии криминалистӣ (Нусхаи 1.0) - nist.gov

18. SWGDE - Дастурҳо барои таҳлили тасвирҳои криминалистӣ - swgde.org

Навтарин зеҳни сунъиро дар мағозаи расмии ёвари зеҳни сунъӣ пайдо кунед

Дар бораи мо