Глибоке навчання

Подання зображень на кількох шарах абстракції в глибокому навчанні
Подання зображень на кількох шарах абстракції в глибокому навчанні[1]
Частина з циклу
Машинне навчання
та добування даних
Ілюстрація нейронної мережі з темним
Парадигми
Задачі

Кластерування
Знижування розмірності
Структурове передбачування
Виявляння аномалій
Штучна нейронна мережа
Навчання з підкріпленням
Навчання з людьми
Діагностування моделей
Математичні засади
Місця машинного навчання
Пов'язані статті
Частина з циклу про
Штучний інтелект
Головні цілі
Підходи
Застосування
Філософія
Історія
Словник

Глибо́ке навча́ння[2][3][4] (англ. deep learning, також іноді глиби́нне навча́ння) — це підмножина методів машинного навчання на основі штучних нейронних мережах із навчанням подань. Прикметник «глибоке» (англ. "deep") вказує на використання декількох шарів у мережі. Використовувані методи навчання можуть бути керованими, напівкерованими, та некерованими.[5]

Архітектури глибокого навчання, такі як глибокі нейронні мережі, глибокі мережі переконань, рекурентні нейронні мережі, згорткові нейронні мережі та трансформери, застосовували в таких галузях як комп'ютерне бачення, розпізнавання мовлення, обробка природної мови, машинний переклад, біоінформатика, конструювання ліків, аналіз медичних зображень[en], кліматологія, перевірка матеріалів і програми настільних ігор, де вони дали результати, порівня́нні, а в деяких випадках і кращі за продуктивність людських експертів.[6][7][8]

Штучні нейронні мережі (ШНМ) було натхненно обробкою інформації та розподіленими комунікаційними вузлами в біологічних системах. ШНМ мають різноманітні відмінності від біологічного мозку. Зокрема, штучні нейронні мережі зазвичай статичні та символьні, тоді як біологічний мозок більшості живих організмів динамічний (пластичний) та аналоговий.[9][10] ШНМ загалом розглядають як низькоякісні моделі функціювання мозку.[11]

Визначення

Глибоке навчання — це клас алгоритмів машинного навчання, який[12]:199–200  використовує декілька шарів, щоби поступово виділяти з сирого входу ознаки щоразу вищих рівнів. Наприклад, при обробці зображень нижчі шари можуть встановлювати контури, тоді як вищі шари можуть встановлювати поняття, доречні для людини, такі як цифри, літери чи обличчя.

Якщо поглянути на глибоке навчання під іншим кутом, то глибоке навчання позначує «комп'ютерне моделювання» або «автоматизацію» процесів навчання людиною від джерела (наприклад, зображення собак) до об'єкта навчання (собак). Тому мають сенс поняття, сформульовані як «глибше» (англ. "deeper") та «найглибше» (англ. "deepest") навчання.[13] Найглибше навчання позначує повністю автоматичне навчання від джерела до кінцевого об'єкта навчання. Глибше навчання відтак позначує змішаний процес навчання: процес навчання людиною від джерела до навченого напівоб'єкта, за яким слідує комп'ютерний процес навчання від навченого людиною напівоб'єкта до кінцевого об'єкта навчання.

Огляд

Більшість сучасних моделей глибокого навчання ґрунтуються на багатошарових штучних нейронних мережах, таких як згорткові нейронні мережі та трансформери, хоча до них також можуть належати пропозиційні формули[en] та латентні змінні, організовані пошарово в глибоких породжувальних моделях, такі як вузли в глибоких мережах переконань чи глибоких машинах Больцмана.[14]

У глибокому навчанні кожен рівень вчиться перетворювати свої вхідні дані на дещо абстрактніше й складніше подання. У застосунку для розпізнавання зображень сирий вхід може бути матрицею пікселів; перший шар подання може абстрагуватися від пікселів і кодувати контури; другий шар може складати та кодувати їхнє розташування; третій шар може кодувати ніс та очі; а четвертий шар може розпізнавати, що зображення містить обличчя. Важливо, що процес глибокого навчання може самостійно вчитися, які ознаки оптимально розмістити на якому рівні. Це не звільняє від необхідності ручного настроювання; наприклад, різна кількість та розміри шарів можуть забезпечувати різні ступені абстракції.[15][16]

Слово «глибоке» у «глибокому навчанні» позначує кількість шарів, крізь які перетворюються дані. Точніше, системи глибокого навчання мають значну глибину шляху розподілу внеску (ШРВ, англ. credit assignment path, CAP). ШРВ — це ланцюг перетворень від входу до виходу. ШРВ описують потенційно причинно-наслідкові зв'язки між входом та виходом. Для нейронної мережі прямого поширення глибина ШРВ дорівнює глибині мережі й є кількістю прихованих шарів плюс один (оскільки шар виходу також параметризовано). Для рекурентних нейронних мереж, у яких сигнал може поширюватися крізь шар понад один раз, глибина ШРВ потенційно необмежена.[17] Немає універсально узгодженого порогу глибини, який відділяє неглибоке навчання (англ. shallow learning) від глибокого, але більшість дослідників сходяться на думці, що глибоке навчання використовує глибину ШРВ вище 2. Було показано, що ШРВ глибини 2 це універсальний наближувач у тому сенсі, що він може моделювати будь-яку функцію.[18] Поза цим, більше шарів не додають нічого до здатності мережі наближувати функції. Глибокі моделі (ШРВ > 2) здатні виділяти кращі ознаки, ніж неглибокі моделі, й отже, додаткові шари допомагають ефективно навчатися ознак.

Архітектури глибокого навчання можливо конструювати пошарово жадібним методом.[19] Глибоке навчання допомагає розплутувати ці абстракції й обирати, які ознаки покращують продуктивність.[15]

Для завдань керованого навчання методи глибокого навчання уможливлюють усування конструювання ознак, переводячи дані до компактних проміжних подань, подібних до головних компонент, і виводять багатошарові структури, які усувають надмірність у поданні.

Алгоритми глибокого навчання можливо застосовувати до завдань некерованого навчання. Це важлива перевага, оскільки немічені дані численніші за мічені. Прикладами глибоких структур, які можливо тренувати некерованим чином, є глибокі мережі переконань.[15][20]

Моделі машинного навчання тепер вправні у виявлянні складних шаблонів у даних фінансових ринків. Завдяки перевагам штучного інтелекту інвестори все частіше використовують методики глибокого навчання для прогнозування та аналізу тенденцій на фондових та валютних ринках.[21]

Інтерпретації

Глибокі нейронні мережі зазвичай інтерпретують у термінах теореми про універсальне наближення[22][23][24][25][26] або ймовірнісного висновування.[27][12][15][17][28]

Класична теорема про універсальне наближення стосується здатності нейронної мережі прямого поширення з одним прихованим шаром скінченного розміру наближувати неперервні функції.[22][23][24][25] 1989 року Джордж Цибенко опублікував перше її доведення для сигмоїдних передавальних функцій,[22] а 1991 року Курт Горнік[de] узагальнив його для багатошарових архітектур прямого поширення.[23] Нещодавня робота також показала, що універсальне наближення також виконується для необмежених передавальних функцій, таких як випрямлений лінійний вузол (англ. rectified linear unit) Куніхіко Фукусіми[en].[29][30]

Теорема про універсальне наближення для глибоких нейронних мереж розглядає пропускну спроможність мереж з обмеженою шириною, дозволяючи зростати глибині. Лу зі співавт.[26] довели, що якщо ширина глибокої нейронної мережі з передавальною функцією ReLU строго більша за розмірність входу, то ця мережа може наближувати будь-яку функцію, інтегровну за Лебегом; якщо її ширина менша або дорівнює розмірності входу, то глибока нейронна мережа не є універсальним наближувачем.

Імовірнісна інтерпретація[28] походить з галузі машинного навчання. Вона відводить провідне місце висновуванню,[12][14][15][17][20][28] а також таким поняттям оптимізації як тренування та випробування, пов'язаним із допасовуванням та узагальнюванням відповідно. Конкретніше, ймовірнісна інтерпретація розглядає нелінійність передавальної функції як кумулятивну функцію розподілу.[28] Імовірнісна інтерпретація призвела до запровадження виключення (англ. dropout) як регуляризатора в нейронних мережах. Імовірнісну інтерпретацію було запроваджено дослідниками включно з Гопфілдом, Уїдроу[en] та Нарендрою[en], й популяризовано в оглядах, таких як від Бішопа[en].[31]

Історія

Існує два типи нейронних мереж: нейронні мережі прямого поширення (НМПП, англ. feedforward neural network, FNN) та рекурентні нейронні мережі (РНМ, англ. recurrent neural network, RNN). РНМ мають цикли у структурі зв'язності, а НМПП — ні. У 1920-х роках Вільгельм Ленц[en] та Ернст Ізінг[en] створили та проаналізували модель Ізінга,[32] яка, по суті, є архітектурою РНМ, що не навчається, і складається з нейроноподібних порогових елементів. 1972 року Шунічі Амарі[en] зробив цю архітектуру адаптивною.[33][34] Його навчання РНМ популяризував Джон Гопфілд 1982 року.[35] РНМ стали центральними для розпізнавання мовлення та обробки мови[en].

Чарльз Тапперт пише, що Френк Розенблат розробив та дослідив усі основні складові сучасних систем глибокого навчання,[36] посилаючись на книгу Розенблата 1962 року,[37] якою було запроваджено багатошаровий перцептрон (БШП) із 3 шарами: шаром входу, прихованим шаром із випадковими вагами, що не навчалися, та шаром виходу. Він також запропонував варіанти, включно з версією з чотирьохшаровими перцептронами, де останні два шари мають ваги, що навчаються (й отже, справжній багатошаровий перцептрон).[37]:section 16 Крім того, термін глибоке навчання запропонувала 1986 року Ріна Дехтер[en],[38] хоча історія його появи, схоже, набагато складніша.[39]

Перший загальний, робочий алгоритм навчання для глибоких багатошарових перцептронів прямого поширення керованим навчанням опублікували 1967 року Олексій Івахненко та Валентин Лапа.[40] У статті 1971 року описано глибоку мережу з восьми шарів, треновану методом групового урахування аргументів.[41]

Перший багатошаровий перцептрон глибокого навчання, тренований стохастичним градієнтним спуском,[42] опублікував 1967 року Шунічі Амарі[en].[43][34] У комп'ютерних експериментах, проведених учнем Амарі, Сайто, п'ятишаровий БШП із двома змінними шарами навчився внутрішніх подань для класифікування нелінійно роздільних класів образів.[34] 1987 року Метью Бренд повідомив, що широкі 12-шарові нелінійні перцептрони можливо повністю наскрізно тренувати відтворювати логічні функції нетривіальної глибини ланцюга за допомогою градієнтного спуску на невеликих пакетах випадкових вибірок входів/виходів, але зробив висновок, що час тренування на тогочасному обладнанні (домегафлопних комп'ютерах) зробив цю методику непрактичною, та запропонував використовувати незмінні випадкові ранні шари як хеш входу для єдиного змінюваного рівня.[44] Натомість подальші розробки апаратного забезпечення та підлаштовування гіперпараметрів зробили наскрізний стохастичний градієнтний спуск нині переважною методикою тренування.

1970 року Сеппо Ліннаінмаа[en] опублікував зворотний режим автоматичного диференціювання дискретно зв'язаних мереж вкладених диференційовних функцій.[45][46][47] Він став відомим як зворотне поширення.[17] Це ефективне застосування ланцюгового правила, виведеного Готфрідом Вільгельмом Лейбніцем 1673 року,[48] до мереж диференційовних вузлів.[34] Термінологію «зворотно поширювані похибки» (англ. "back-propagating errors") фактично запровадив 1962 року Розенблат,[37][34] але він не знав, як це втілити, хоча Генрі Келлі[en] вже 1960 року мав безперервного попередника зворотного поширення[49] в контекст теорії керування.[34] 1982 року Пол Вербос[en] застосував зворотне поширення до БШП у спосіб, який став стандартним.[50][51][34] 1985 року Девід Румельхарт зі співавт. опублікували експериментальний аналіз цієї методики.[52]

Ахітектури глибокого навчання для згорткових нейронних мереж (ЗНМ, англ. convolutional neural networks, CNN) зі згортковими шарами та шарами зниження роздільності почалися з неокогнітрона, запропонованого Куніхіко Фукусімою[en] 1980 року.[53] 1969 року він також запропонував передавальну функцію ReLU (англ. rectified linear unit, випрямлений лінійний вузол).[29][34] Цей випрямляч (англ. rectifier) став найпопулярнішою передавальною функцією для ЗНМ та глибокого навчання в цілому.[54] ЗНМ стали важливим інструментом комп'ютерного бачення.

Термін глибоке навчання (англ. Deep Learning) у спільноті машинного навчання запровадила 1986 року Ріна Дехтер[en],[38] а для штучних нейронних мереж — Ігор Айзенберг з колегами у 2000 року в контексті булевих[en] порогових нейронів.[55][56]

1988 року Вей Чжан зі співавт. застосували алгоритм зворотного поширення до згорткової нейронної мережі (спрощений неокогнітрон зі згортковими взаємозв'язками між шарами ознак зображення та останнім повноз'єднаним шаром) для розпізнавання абетки. Вони також запропонували втілення ЗНМ з оптичною обчислювальною системою.[57][58] 1989 року Ян ЛеКун зі співавт. застосували зворотне поширення до ЗНМ з метою розпізнавання рукописних поштових індексів у пошті. Хоч цей алгоритм і працював, тренування вимагало 3 днів.[59] Згодом Вей Чжан зі співавт. видозмінили свою модель, видаливши останній повноз'єднаний шар, та застосувавши її для сегментування об'єктів медичних зображень 1991 року,[60] та для виявляння раку молочної залози на мамограмах 1994 року.[61] LeNet-5 (1998), 7-рівневу ЗНМ від Яна ЛеКуна зі співавт.,[62] що класифікує цифри, кілька банків застосували для розпізнавання рукописних чисел на чеках, оцифрованих у зображення 32×32 пікселі.

У 1980-х роках зворотне поширення не працювало добре для глибокого навчання з довгими шляхами розподілу внеску. Щоби подолати цю проблему, Юрген Шмідхубер (1992) запропонував ієрархію РНМ, попередньо тренованих порівнево самокерованим навчанням.[63] Вона використовує передбачувальне кодування[en] для навчання внутрішніх подань у кількох самоорганізованих масштабах часу. Це може істотно полегшувати наступне глибоке навчання. Цю ієрархію РНМ можливо скласти (англ. collapse) в єдину РНМ шляхом дистилювання[en] фрагментувальної (англ. chunker) мережі вищого рівня до автоматизаторної (англ. automatizer) мережі нижчого рівня.[63][34] 1993 року фрагментувальник розв'язав завдання глибокого навчання, чия глибина перевищувала 1000.[64]

1992 року Юрген Шмідхубер також опублікував альтернативу РНМ (англ. alternative to RNNs),[65] яку зараз називають лінійним трансформером (англ. linear Transformer) або трансформером з лінеаризованою самоувагою[66][67][34] (за винятком оператора нормування). Він навчається внутрішніх центрів уваги (англ. internal spotlights of attention):[68] повільна нейронна мережа прямого поширення вчиться за допомогою градієнтного спуску керувати швидкими вагами іншої нейронної мережі через тензорні добутки самопороджуваних шаблонів збудження FROM і TO (званих тепер ключем, англ. key, та значенням, англ. value, самоуваги).[66] Це відображення уваги (англ. attention mapping) швидких ваг застосовують до шаблону запиту.

Сучасний трансформер (англ. Transformer) запропонували Ашиш Васвані зі співавт. у своїй праці 2017 року «Увага — це все, що вам треба».[69] Він поєднує це з оператором softmax та проєкційною матрицею.[34] Трансформери все частіше обирають за модель для обробки природної мови.[70] Багато сучасних великих мовних моделей, таких як ChatGPT, GPT-4 та BERT, використовують саме його. Трансформери також все частіше використовують у комп'ютернім баченні.[71]

1991 року Юрген Шмідхубер також опублікував змагальні нейронні мережі (англ. adversarial neural networks), які змагаються між собою у формі антагоністичної гри, де виграш однієї мережі є програшем іншої.[72][73][74] Перша мережа є породжувальною моделлю, яка моделює розподіл імовірності над образами на виході. Друга мережа навчається градієнтним спуском передбачувати реакцію середовища на ці образи. Це було названо «штучною цікавістю» (англ. "artificial curiosity"). 2014 року цей принцип використали у породжувальній змагальній мережі (англ. generative adversarial network, GAN) Ян Ґудфелоу зі співавт.[75] Тут реакція навколишнього середовища дорівнює 1 або 0 залежно від того, чи належить вихід першої мережі до заданого набору. Це можливо використовувати для створення реалістичних дипфейків.[76] Відмінної якості зображення досягла StyleGAN[en] Nvidia (2018)[77] на основі прогресивної породжувальної змагальної мережі (англ. Progressive GAN) Теро Карраса зі співавт.[78] Тут породжувач вирощується від малого до великого пірамідним чином.

Дипломну працю Зеппа Хохрайтера[en] (1991)[79] його керівник Шмідхубер назвав «одним із найважливіших документів в історії машинного навчання».[34] Він не лише випробував нейронний стискач історії,[63] але й виявив та проаналізував проблему зникання градієнта.[79][80] Для розв'язання цієї проблеми Хохрайтер запропонував рекурентні залишкові зв'язки. Це призвело до появи методу глибокого навчання, званого довгою короткочасною пам'яттю (ДКЧП, англ. long short-term memory, LSTM), опублікованого 1997 року.[81] Рекурентні нейронні мережі ДКЧП можуть навчатися задач «дуже глибокого навчання»[17] з довгими шляхами розподілу внеску, які вимагають спогадів про події, що відбулися тисячі дискретних часових кроків тому. «Стандартну ДКЧП» (англ. vanilla LSTM) із забувальним вентилем запропонували 1999 року Фелікс Ґерс[en], Шмідхубер та Фред Каммінс.[82] ДКЧП стала найцитованішою нейронною мережею XX століття.[34] 2015 року Рупеш Кумар Шрівастава, Клаус Ґрефф і Шмідхубер використали принцип ДКЧП для створення магістралевої мережі, нейронної мережі прямого поширення з сотнями шарів, набагато глибшої за попередні.[83][84] 7 місяців потому, Каймін Хе, Сян'ю Чжан; Шаоцін Рен та Цзянь Сунь виграли змагання ImageNet[en] 2015 із відкритовентильним або безвентильним варіантом магістралевої мережі, названим за́лишковою нейронною мережею (англ. Residual neural network).[85] Вона стала найцитованішою нейронною мережею XXI століття.[34]

1994 року Андре де Карвальо разом з Майком Фейргерстом та Девідом Біссетом опублікували експериментальні результати багатошарової булевої нейронної мережі, відомої також як безвагова нейронна мережа (англ. weightless neural network), складеної з 3-шарового самоорганізовуваного нейромережного модуля виділяння ознак (англ. SOFT), з багатошаровим класифікаційним нейромережним модулем (англ. GSN) за ним, тренованих незалежно. Кожен шар у модулі виділяння ознак виділяв ознаки все вищої складності відносно попереднього шару.[86]

1995 року Брендан Фрей[en] продемонстрував можливість натренувати (протягом двох днів) мережу із шести повноз'єднаних шарів та кількох сотень прихованих вузлів, використовуючи алгоритм неспання — сну[en], розроблений спільно з Пітером Даяном[en] та Гінтоном.[87]

З 1997 року Свен Бенке розширив ієрархічний згортковий підхід прямого поширення у нейронній піраміді абстракцій (англ. Neural Abstraction Pyramid)[88] за допомогою бічних та зворотних з'єднань, щоби гнучко включати контекст у рішення та ітеративно розв'язувати локальні неоднозначності.

У 1990-х і 2000-х роках популярністю користувалися простіші моделі, які використовують сконструйовані вручну ознаки для конкретних завдань, такі як фільтри Ґабора (англ. Gabor filters) та опорновекторні машини (ОВМ, англ. support vector machines, SVM), через обчислювальну витратність штучних нейронних мереж (ШНМ) та брак розуміння того, як мозок сплітає свої біологічні мережі.

Як неглибоке, так і глибоке навчання (наприклад, рекурентні мережі) ШНМ для розпізнавання мовлення досліджували протягом багатьох років.[89][90][91] Ці методи ніколи не перевершували технологію неоднорідних внутрішньо-ручних гауссових сумішевих моделей[en]/прихованих марковських моделей (ГСМ-ПММ, англ. GMM-HMM) на основі породжувальних моделей мовлення, тренованих розрізнювально.[92] Було проаналізовано основні труднощі, включно зі зниканням градієнта[79] й слабкою структурою часової кореляції в нейронних передбачувальних моделях.[93][94] Додатковими труднощами були брак тренувальних даних та обмежена обчислювальна потужність. Більшість дослідників розпізнавання мовлення відійшли від нейронних мереж, щоби займатися породжувальним моделюванням. Винятком був SRI International наприкінці 1990-х років. Фінансований агенціями уряду США АНБ та DARPA, SRI вивчав глибокі нейронні мережі в розпізнаванні мовлення та мовця. Команда розпізнавання мовців на чолі з Ларрі Геком[en] повідомила про значний успіх із глибокими нейронними мережами в обробці мовлення на оцінюванні розпізнавання мовців Національного інституту стандартів і технологій 1998 року.[95] Потім глибоку нейронну мережу SRI було розгорнуто в Nuance Verifier, що стало першим великим промисловим застосуванням глибокого навчання.[96] Принцип піднесення «сирих» ознак над ручною оптимізацією було вперше успішно досліджено в архітектурі глибокого автокодувальника на «сирій» спектрограмі або ознаках лінійного блока фільтрів[en] наприкінці 1990-х,[96] що показало його перевагу над мел-кепстровими ознаками, які містять етапи незмінного перетворення зі спектрограм. Сирі ознаки мовлення, хвилеформи, згодом дали чудові великомасштабні результати.[97]

Розпізнавання мовлення перейняла ДКЧП. 2003 року ДКЧП на певних завданнях почала конкурувати з традиційними розпізнавачами мовлення.[98] 2006 року Алекс Ґрейвс[en], Сантьяго Фернандес, Фаустіно Ґомес та Шмідхубер поєднали її з нейромережною часовою класифікацією[en] (НЧК, англ. connectionist temporal classification, CTC)[99] у стеках РНМ ДКЧП.[100] 2015 року в розпізнаванні мовлення Google, як було повідомлено, стався різкий 49-відсотковий стрибок продуктивності завдяки НЧК-тренованій ДКЧП, яку вони зробили доступною через голосовий пошук Google.[101]

Вплив глибокого навчання в промисловості почався на початку 2000-х років, коли, за словами Яна ЛеКуна, ЗНМ вже обробляли приблизно від 10 % до 20 % усіх чеків, виписуваних у США.[102] Промислові застосування глибокого навчання для широкомасштабного розпізнавання мовлення почалися приблизно 2010 року.

2006 року публікації Джеффа Гінтона, Руслана Салахутдінова[en], Осіндеро та Тее[en][103][104][105] показали, як багатошарову нейронну мережу прямого поширення можливо ефективно попередньо тренувати шар за шаром, розглядаючи кожен шар по черзі як некеровану обмежену машину Больцмана, а потім тонко налаштовувати її за допомогою керованого зворотного поширення.[106] Ці праці стосувалися навчання для глибоких мереж переконань.

Мотивом семінару NIPS 2009 року з глибокого навчання для розпізнавання мовлення були обмеження глибоких породжувальних моделей мовлення та можливість того, що завдяки потужнішому апаратному забезпеченню та великомасштабним наборам даних глибокі нейронні мережі (ГНМ, англ. deep neural nets, DNN) можуть стати практичними. Вважалося, що попереднє тренування ГНМ за допомогою породжувальних моделей глибоких мереж переконань (ГМП, англ. deep belief nets, DBN) дозволить подолати основні труднощі нейронних мереж. Проте було виявлено, що заміна попереднього тренування великими обсягами тренувальних даних для безпосереднього зворотного поширення при використанні ГНМ з великими контекстнозалежними шарами виходу призводить до різко нижчих рівнів похибок, ніж у гауссової сумішевої моделі (ГСМ)/прихованої марковської моделі (ПММ), що була на рівні останніх досягнень на той час, а також ніж у передовіших систем на основі породжувальних моделей.[107] Природа похибок розпізнавання, породжуваних цими двома типами систем, характерно відрізнялася,[108] пропонуючи технічні прояснення щодо того, як інтегрувати глибоке навчання в наявну високоефективну систему декодування мовлення в реальному часі, розгорнуту всіма основними системами розпізнавання мовлення.[12][109][110] Аналіз близько 2009—2010 років, порівнюючи ГСМ (та інші породжувальні моделі мовлення) з моделями ГНМ, стимулював перші промислові інвестиції в глибоке навчання для розпізнавання мовлення.[108] Цей аналіз було зроблено з порівнянною продуктивністю (менше 1,5 % у рівні похибок) між розрізнювальними ГНМ та породжувальними моделями.[107][108][111] 2010 року дослідники розширили глибоке навчання від TIMIT[en] до великословникового розпізнавання мовлення, застосувавши великі шари виходу ГНМ на основі контекстнозалежних станів ПММ, побудованих за допомогою дерев рішень.[112][113][114][109]

Глибоке навчання є частиною систем рівня останніх досягнень у різних дисциплінах, зокрема в комп'ютернім баченні та автоматичному розпізнаванні мовлення (АРМ, англ. automatic speech recognition, ASR). Результати на загальновживаних оцінювальних наборах, таких як TIMIT[en] (АРМ) та MNIST (класифікування зображень), а також низці завдань великословникового розпізнавання мовлення, постійно покращувалися.[107][115] Згорткові нейронні мережі (ЗНМ) для АРМ було витіснено НЧК[99] для ДКЧП,[81][101][116][117][118] але в комп'ютернім баченні вони успішніші.

Удосконалення апаратного забезпечення відновило інтерес до глибокого навчання. 2009 року Nvidia брала участь у так званому «великому вибуху» глибокого навчання, «оскільки нейронні мережі глибокого навчання тренували за допомогою графічних процесорів (ГП) Nvidia».[119] Того року Ендрю Ин визначив, що ГП можуть підвищити швидкість систем глибокого навчання приблизно в 100 разів.[120] Зокрема, ГП добре підходять для матричних/векторних обчислень, задіяних у машинному навчанні.[121][122][123] ГП прискорюють алгоритми тренування на порядки, скорочуючи час роботи з тижнів до днів.[124][125] Крім того, для ефективної обробки моделей глибокого навчання можливо використовувати спеціалізоване обладнання та оптимізацію алгоритмів.[126]

Революція глибокого навчання

Як глибоке навчання є підмножиною машинного навчання і як машинне навчання є підмножиною штучного інтелекту (ШІ)

Наприкінці 2000-х глибоке навчання почало перевершувати інші методи в змаганнях з машинного навчання. 2009 року довга короткочасна пам'ять, натренована нейромережною часовою класифікацією[en] (Алекс Ґрейвс[en], Сантьяго Фернандес, Фаустіно Ґомес та Юрген Шмідхубер, 2006)[99] стала першою РНМ, яка виграла конкурси з розпізнавання образів, вигравши три змагання з розпізнавання неперервного рукописного тексту.[127][17] Пізніше Google використала натреновану НЧК ДКЧП для розпізнавання мовлення на смартфоні.[128][101]

Значний вплив на розпізнавання зображень або об'єктів відчувався з 2011 по 2012 роки. Хоча ЗНМ, треновані зворотним поширенням, існували десятиліттями,[57][59] а втілення НМ на ГП — роками,[121] включно із ЗНМ,[123][17] для прогресу в комп'ютернім баченні знадобилися швидші втілення ЗНМ на графічних процесорах. 2011 року DanNet[129][6] Дена Чирешана, Улі Меєра, Джонатана Маскі, Луки Марії Гамбардели[en] та Юргена Шмідхубера вперше досягла надлюдських результатів у змаганні з розпізнавання візуальних образів, перевершивши традиційні методи втричі.[17] Також 2011 року DanNet виграла конкурс із китайського рукописного тексту ICDAR, а в травні 2012 року перемогла в конкурсі з сегментування зображень ISBI.[130] До 2011 року ЗНМ не відігравали великої ролі на конференціях з комп'ютерного бачення, але в червні 2012 року публікація Чирешана зі співавт. на провідній конференції CVPR[6] показала, як максимізувально агрегувальні ЗНМ на ГП можуть значно покращувати багато еталонних рекордів у баченні. У вересні 2012 року DanNet також виграла конкурс ICPR з аналізу великих медичних зображень для виявляння раку, а наступного року також і MICCAI Grand Challenge на ту ж тему.[131] У жовтні 2012 року подібна AlexNet Олексія Крижевського, Іллі Суцкевера та Джефрі Гінтона[7] виграла великомасштабне змагання ImageNet[en] зі значним відривом від неглибоких методів машинного навчання. Мережа VGG-16 Карена Симоняна● та Ендрю Зіссермана[en][132] ще більше знизила рівень похибок і виграла конкурс ImageNet 2014, слідуючи подібній тенденції у широкомасштабному розпізнаванні мовлення.

Потім класифікування зображень було розширено до складнішого завдання породжування описів[en] (підписів) для зображень, часто як поєднання ЗНМ та ДКЧП.[133][134][135]

2012 року команда під проводом Джорджа Даля виграла конкурс «Merck Molecular Activity Challenge», використовуючи багатозадачні глибокі нейронні мережі для передбачування біомолекулярної мішені[en] одного препарату.[136][137] 2014 року група Зеппа Хохрайтера[en] використала глибоке навчання для виявляння нецільових і токсичних впливів хімічних речовин навколишнього середовища у поживних речовинах, побутових товарах і ліках, і виграла «Tox21 Data Challenge» NIH, FDA та NCATS[en].[138][139][140]

2016 року Роджер Парлофф зазначив «революцію глибокого навчання», яка змінила галузь ШІ.[141]

У березні 2019 року Йошуа Бенжіо[en], Джефрі Гінтона та Яна ЛеКуна було нагороджено премією Тюрінга за концептуальні та інженерні прориви, які зробили глибокі нейронні мережі критично важливою складовою обчислювальної техніки.

Нейронні мережі

Докладніше: Штучна нейронна мережа
Спрощений приклад тренування нейронної мережі у виявлянні об'єктів: Мережу тренують кількома зображеннями, відомими як зображення морських зірок та морських їжаків, що корелюють з «вузлами», які подають візуальні ознаки. Морські зірки відповідають текстурі в кружечок та зірковому контурові, тоді як більшість морських їжаків відповідають смугастій текстурі й овальній формі. Проте, приклад морського їжака з текстурою в кружечок створює слабко зважену пов'язаність між ними.
Наступний запуск мережі на вхідному зображенні (ліворуч):[142] Мережа правильно виявляє морську зірку. Проте, слабко зважена пов'язаність між текстурою в кружечок і морським їжаком також передає слабкий сигнал останньому від одного з двох проміжних вузлів. Крім того, черепашка, яку не було включено до тренування, дає слабкий сигнал для овальної форми, що також призводить до слабкого сигналу для виходу морського їжака. Ці слабкі сигнали можуть призвести до хибно позитивного результату для морського їжака.
В реальності текстури та контури не буде подано поодинокими вузлами, а радше пов'язаними ваговими шаблонами декількох вузлів.

Шту́чні нейро́нні мере́жі (ШНМ, англ. artificial neural networks, ANN) або коннекціоні́стські систе́ми (англ. connectionist systems) — це обчислювальні системи, натхненні біологічними нейронними мережами, які складають мозок тварин. Такі системи вчаться (поступово вдосконалюють свої здібності) виконувати завдання, розглядаючи приклади, як правило, без програмування під конкретне завдання. Наприклад, у розпізнаванні зображень вони можуть навчитися встановлювати зображення, які містять котів, аналізуючи приклади зображень, мічені[en] вручну як «кіт» чи «кота нема», і використовуючи результати цього аналізу для встановлювання котів на інших зображеннях. Вони знайшли найбільше використання в застосуваннях, які важко висловити за допомогою традиційного комп'ютерного алгоритму з використанням програмування на основі правил .

ШНМ ґрунтується на сукупності з'єднаних вузлів, званих штучними нейронами (аналогічно біологічним нейронам у біологічному мозку). Кожне з'єднання (синапс) між нейронами може передавати сигнал іншому нейронові. Приймальний (постсинаптичний) нейрон може обробляти сигнал(и), а потім сигналізувати подальшим нейронам. Нейрони можуть мати стан, як правило, поданий дійсними числами, зазвичай між 0 та 1. Нейрони та синапси також можуть мати вагу, яка змінюється в міру навчання, що може збільшувати або зменшувати силу сигналу, який вони надсилають далі.

Як правило, нейрони впорядковано в шари (англ. layers). Різні шари можуть виконувати різні типи перетворень над своїми входами. Сигнали проходять від першого шару (шару входу) до останнього шару (шару виходу), можливо, після проходження шарами декілька разів.

Початкова мета нейромережного підходу полягала у розв'язуванні задач таким же чином, як це робив би людський мозок. З часом увага зосередилася на відповідності конкретним розумовим здібностям, що призвело до відхилень від біології, таких як зворотне поширення, або передавання інформації у зворотному напрямку з підлаштовуванням мережі відображувати цю інформацію.

Нейронні мережі використовували для різноманітних завдань, включно з комп'ютерним баченням, розпізнаванням мовлення, машинним перекладом, фільтруванням соціальних мереж, грою в настільні та відеоігри[en] та медичною діагностикою.

Станом на 2017 рік нейронні мережі зазвичай мають від кількох тисяч до кількох мільйонів вузлів та мільйони з'єднань. Незважаючи на те, що це число на кілька порядків менше за число нейронів у мозку людини, ці мережі можуть виконувати багато завдань на рівні, що перевершує людський (наприклад, розпізнавати обличчя або грати в «Ґо»[143]).

Глибокі нейронні мережі

Глибока нейронна мережа (ГНМ, англ. deep neural network, DNN) — це штучна нейронна мережа (ШНМ) із кількома шарами між шарами входу та виходу.[14][17] Існують різні типи нейронних мереж, але вони завжди складаються з тих же складових: нейронів, синапсів, ваг, зміщень та функцій.[144] Ці складові в цілому функціонують у спосіб, що імітує функціювання людського мозку, і їх, як і будь-який інший алгоритм МН, можливо тренувати.[джерело?]

Наприклад, ГНМ, тренована розпізнавати породи собак, проходитиме заданим зображенням й обчислюватиме ймовірність того, що зображений собака належить до певної породи. Користувач може переглядати результати й обирати, які ймовірності мережа повинна відображувати (вище певного порогу тощо) й повертати запропоновану мітку. Кожну математичну маніпуляцію як таку вважають шаром,[джерело?] і складні ГНМ мають багато шарів, звідси й назва «глибокі» мережі.

ГНМ можуть моделювати складні нелінійні зв'язки. Архітектури ГНМ породжують композиційні моделі, де об'єкт виражають багатошаровою композицією примітивів.[145] Додаткові шари дозволяють комбінувати ознаки з нижчих шарів, потенційно моделюючи складні дані меншою кількістю вузлів, ніж неглибокі мережі з подібною продуктивністю.[14] Наприклад, було доведено, що розріджені багатовимірні многочлени експоненційно легше наближувати за допомогою ГНМ, ніж за допомогою неглибоких мереж.[146]

До глибоких архітектур належать багато варіантів кількох основних підходів. Кожна архітектура досягла успіху в певних областях. Не завжди можливо порівняти продуктивність кількох архітектур, якщо їх оцінювали не на однакових наборах даних.

ГНМ, як правило, є мережами прямого прямого поширення, в яких дані проходять з шару входу до шару виходу без повернення назад. Спочатку ГНМ створює карту віртуальних нейронів і призначує зв'язкам між ними випадкові числові значення, або «ваги». Ваги та входи перемножуються й повертають результат між 0 та 1. Якщо мережа не розпізнає певний образ точно, алгоритм підлаштовує ці ваги.[147] Таким чином алгоритм може робити певні параметри впливовішими, доки не визначить правильну математичну операцію для повної обробки даних.

Рекурентні нейронні мережі (РНМ, англ. recurrent neural networks, RNN), в яких дані можуть простувати в будь-якому напрямку, використовують для таких застосувань як моделювання мови.[148][149][150][151][152] Для цього використання особливо ефективна довга короткочасна пам'ять.[81][153]

Згорткові глибокі нейронні мережі (ЗНМ, англ. convolutional deep neural networks, CNN) використовують у комп'ютернім баченні.[154] ЗНМ також застосовували до акустичного моделювання[en] для автоматичного розпізнавання мовлення (АРМ, англ. automatic speech recognition, ASR).[155]

Виклики

Як і з ШНМ, при наївному тренуванні ГНМ може виникати багато проблем. Двома поширеними проблемами є перенавчання та обчислювальний час.

ГНМ схильні до перенавчання через додані шари абстрагування, які дозволяють їм моделювати рідкісні залежності в тренувальних даних. Для боротьби з перенавчанням під час тренування можливо застосовувати методи регуляризації, такі як обрізання вузлів (англ. unit pruning) Івахненка,[41] ослаблення ваг[en] (англ. weight decay, -регуляризація) та розрідженість (англ. sparsity, -регуляризація).[156] Альтернативна регуляризація виключенням (англ. dropout) випадковим чином вилучає вузли з прихованих шарів під час тренування. Це допомагає виключати рідкісні залежності.[157] Нарешті, дані можливо доповнювати за допомогою таких методів як обрізання та обертання, щоби менші тренувальні набори можливо було збільшити в розмірі задля зменшення ймовірності перенавчання.[158]

ГНМ повинні враховувати багато параметрів тренування, таких як розмір (кількість шарів і кількість вузлів на шар), темп навчання та первинні ваги. Прочісування простору параметрів для отримання оптимальних значень може бути недосяжним через часові та обчислювальні витрати. Обчислення прискорюють різні трюки, такі як пакетування (англ. batching, обчислення градієнта на кількох тренувальних прикладах одночасно, замість обчислення на окремих).[159] Великі оброблювальні можливості багатоядерних архітектур (таких як графічні процесори та Intel Xeon Phi) призвели до значного прискорення тренування через придатність таких оброблювальних архітектур для матричних та векторних обчислень.[160][161]

Крім того, інженери можуть шукати інші типи нейронних мереж із простішими та збіжнішими алгоритмами тренування. Одним із таких видів нейронних мереж є АКММ (артикуляційний контролер мозочкової моделі[en], англ. cerebellar model articulation controller, CMAC). Він не потребує темпів навчання та увипадковлених первинних ваг. Може бути гарантовано збіжність його процесу тренування за один крок із новим пакетом даних, а обчислювальна складність алгоритму тренування лінійна щодо кількості задіяних нейронів.[162][163]

Апаратне забезпечення

З 2010-х років прогрес як в алгоритмах машинного навчання, так і в комп'ютерному апаратному забезпеченні призвів до ефективніших методів тренування глибоких нейронних мереж, які містять багато шарів нелінійних прихованих вузлів і дуже великий шар виходу.[164] До 2019 року графічні процесори (ГП), часто зі спеціальними вдосконаленнями для ШІ, витіснили ЦП як переважний метод тренування великомасштабного комерційного хмарного ШІ.[165] OpenAI оцінила апаратні обчислення, які використовували в найбільших проєктах глибокого навчання від AlexNet (2012) і до AlphaZero (2017), і виявила 300 000-кратне збільшення необхідного обсягу обчислень із тенденцією подвоєння часу кожні 3,4 місяці.[166][167]

Для прискорення алгоритмів глибокого навчання було розроблено спеціальні електронні схеми, звані процесорами глибокого навчання. До процесорів глибокого навчання належать нейронні процесори (НП, англ. neural processing units, NPU) у мобільних телефонах Huawei[168] та серверах хмарних обчислень, такі як тензорні процесори (ТП, англ. tensor processing units, TPU) у Google Cloud Platform.[169] Cerebras Systems[en] також створила спеціальну систему для обробки великих моделей глибокого навчання, CS-2, що ґрунтується на найбільшому процесорі в галузі, другому поколінні Wafer Scale Engine (WSE-2).[170][171]

Атомарно тонкі напівпровідники вважають перспективними для енергоефективного апаратного забезпечення глибокого навчання, де одну й ту ж базову структуру пристрою використовують як для логічних операцій, так і для зберігання даних. 2020 року Марега зі співавт. опублікували експерименти з активноканальним матеріалом великої площі для розробки пристроїв і схем з логічною пам'яттю на основі польових транзисторів з плавни́м затвором (англ. floating-gate field-effect transistors, FGFET).[172]

2021 року Й. Фельдманн зі співавт. запропонували інтегрований фотонний апаратний прискорювач для паралельної згорткової обробки.[173] Автори виділяють дві ключові переваги інтегрованої фотоніки над її електронними аналогами: (1) масивна паралельна передача даних через мультиплексування за довжиною хвилі в поєднанні з частотними гребінцями та (2) надзвичайно висока швидкість модуляції даних.[173] Їхня система може виконувати трильйони операцій множення-додавання за секунду, що вказує на потенціал інтегрованої фотоніки у застосуваннях штучного інтелекту, які потребують великих даних.[173]

Застосування

Автоматичне розпізнавання мовлення

Докладніше: Розпізнавання мовлення

Великомасштабне автоматичне розпізнавання мовлення — це перший і найпереконливіший успішний приклад глибокого навчання. РНМ ДКЧП можуть навчатися завдань «дуже глибокого навчання»,[17] до яких належать багатосекундні інтервали, що містять мовленнєві події, розділені тисячами дискретних часових кроків, де один часовий крок відповідає приблизно 10 мс. ДКЧП із забувальними вентилями[153] на певних завданнях конкурентоспроможні з традиційними розпізнавачами мовлення.[98]

Початковий успіх у розпізнаванні мовлення ґрунтувався на невеликих завданнях розпізнавання на основі TIMIT[en]. Цей набір даних містить 630 носіїв восьми основних діалектів американської англійської, де кожен читає 10 речень.[174] Його невеликий розмір дозволяє випробувати багато конфігурацій. Що ще важливіше, завдання TIMIT стосується розпізнавання фональних[en] послідовностей, яке, на відміну від розпізнавання послідовності слів, дозволяє використовувати слабкі фонобіграмні мовні моделі. Це дозволяє легше аналізувати силу аспектів акустичного моделювання розпізнавання мовлення. Частоту похибки, наведену нижче, включно з цими ранніми результатами, виміряну у відсотках рівнів фональних похибок (РФП, англ. phone error rates, PER), було узагальнено з 1991 року.

Метод Відсоток рівня
фональної похибки (РФП) (%)
РНМ з випадковими початковими значеннями[175] 26,1
Баєсова трифональна ГСМ[en]-ПММ 25,6
Модель прихованої траєкторії (породжувальна) 24,8
Монофональна ГНМ з випадковими початковими значеннями 23,4
Монофональна ГМП-ГНМ 22,4
Трифональна ГСМ[en]-ПММ з навчанням ПМВІ 21,7
Монофональна ГМП-ГНМ на блоці фільтрів[en] 20,7
Згорткова ГНМ[176] 20,0
Згорткова ГНМ з різнорідним агрегуванням 18,7
Ансамблева ГНМ/ЗНМ/РНМ[177] 18,3
Двоспрямована ДКЧП 17,8
Ієрархічна згорткова глибока максимумовиходова мережа[178] 16,5

Дебют ГНМ для розпізнавання мовців наприкінці 1990-х та розпізнавання мовлення приблизно в 2009—2011 роках, а також ДКЧП приблизно в 2003—2007 роках прискорили прогрес у восьми основних областях:[12][111][109]

  • Масштабування вгору/назовні та прискорення тренування та декодування ГНМ
  • Послідовнісно розрізнювальне тренування
  • Обробка ознак глибокими моделями з цілісним розумінням механізмів, що лежать в їхній основі
  • Пристосування ГНМ та споріднених глибоких моделей
  • Багатозадачне[en] та передавальне навчання за допомогою ГНМ і споріднених глибоких моделей
  • ЗНМ та як їх проєктувати, щоби найкращим чином використати предметні знання щодо мовлення
  • РНМ та їхні численні варіанти з ДКЧП
  • Інші типи глибоких моделей, включно з моделями на основі тензорів та комбінованими породжувально/розрізнювальними моделями.

Усі основні комерційні системи розпізнавання мовлення (наприклад, Microsoft Cortana, Xbox, Перекладач Skype[en], Amazon Alexa, Google Now, Apple Siri, Baidu та голосовий пошук iFlytek[en], а також низка мовленнєвих продуктів Nuance[en] тощо) ґрунтуються на глибокому навчанні.[12][179][180]

Розпізнавання зображень

Докладніше: Комп'ютерне бачення

Поширеним оцінковим набором для класифікування зображень є набір даних бази даних MNIST. Він складається з рукописних цифр і містить 60 000 навчальних та 10 000 випробувальних прикладів. Як і у випадку з TIMIT, його невеликий розмір дозволяє користувачам випробувати кілька конфігурацій. Доступний вичерпний перелік результатів на цьому наборі.[181]

Розпізнавання зображень на основі глибокого навчання стало «надлюдським», даючи точніші результати, ніж люди, учасники змагання. Вперше це сталося 2011 року з розпізнаванням дорожніх знаків, а 2014 року з розпізнаванням облич людей.[182][183]

Треновані глибоким навчанням транспортні засоби тепер інтерпретують камери кругового огляду.[184] Іншим прикладом є новітній аналіз у лицевій дисморфології (англ. Facial Dysmorphology Novel Analysis, FDNA), який використовують для аналізу випадків вад розвитку людини, пов'язаних із великою базою даних генетичних синдромів.

Обробка образотворчого мистецтва

Візуальна художня обробка Джиммі Вейлза у Франції у стилі «Крику» Мунка, застосованого за допомогою нейронного перенесення стилю

З прогресом, досягнутим у розпізнаванні зображень, тісно пов'язане все ширше застосування методик глибокого навчання до різноманітних завдань образотворчого мистецтва. ГНМ довели свою здатність, наприклад, у

  • встановлюванні періоду стилю заданої картини[185][186]
  • Нейроннім перенесенні стилю[en] — вловлюванні стилю певного твору мистецтва та застосуванні його візуально приємним чином до довільної фотографії чи відео[185][186]
  • створенні вражаючих зображень на основі випадкових вхідних зорових полів.[185][186]

Обробка природної мови

Докладніше: Обробка природної мови

Нейронні мережі використовують для втілення мовних моделей з початку 2000-х років.[148] ДКЧП допомогла покращити машинний переклад і моделювання мови.[149][150][151]

Іншими ключовими методиками в цій галузі є негативне вибирання (англ. negative sampling)[187] та вкладання слів. Вкладання слів, наприклад word2vec, можливо розглядати як шар подання в архітектурі глибокого навчання, який перетворює атомарне слово в подання розташування слова відносно інших слів у наборі даних; розташування подається як точка у векторному просторі. Використання вкладення слів як вхідного рівня РНМ дозволяє цій мережі аналізувати речення та фрази за допомогою ефективної композиційної векторної граматики. Композиційну векторну граматику можливо розглядати як імовірнісну контекстновільну граматику[en] (ІКВГ, англ. probabilistic context free grammar, PCFG), втілену РНМ.[188] Рекурсивні автокодувальники, збудовані поверх вкладень слів, можуть оцінювати схожість речень та виявляти перефразування.[188] Глибокі нейронні архітектури забезпечують найкращі результати для аналізу складників,[189] тональності,[190] пошуку інформації,[191][192] розуміння розмовної мови,[193] машинного перекладу,[149][194] контекстного зв'язування об'єктів,[194] розпізнавання стилю написання,[195] розпізнавання іменованих сутностей (класифікування лексем),[196] класифікування тексту та інших.[197]

Останні розробки узагальнюють вкладання слів до вкладання речень.

Перекладач Google використовує велику наскрізну мережу довгої короткочасної пам'яті (ДКЧП).[198][199][200][201] Нейронний машинний переклад Google використовує метод машинного перекладу на основі прикладів, у якому система «вчиться на мільйонах прикладів».[199] Він перекладає «цілі речення за раз, а не частини». Перекладач Google підтримує понад сто мов.[199] Мережа кодує «семантику речення, а не просто запам'ятовує пофразові переклади».[199][202] Перекладач Google використовує англійську як проміжну між більшістю мовних пар.[202]

Пошук нових ліків та токсикологія

Докладніше: Пошук нових ліків[en] та Токсикологія

Значний відсоток ліків-кандидатів не отримує схвалення регуляторних органів. Ці невдачі спричинені недостатньою ефективністю (впливом на мішень), небажаними взаємодіями (впливами поза мішенню) або непередбаченими токсичними впливами.[203][204] Дослідники вивчали використання глибокого навчання для передбачування біомолекулярних мішеней[en],[136][137] антимішеней[en] та токсичних впливів хімічних речовин навколишнього середовища у поживних речовинах, побутових товарах і ліках.[138][139][140]

AtomNet — це система глибокого навчання для раціонального конструювання ліків на основі структури.[205] AtomNet використовували для передбачування новітніх біомолекул-кандидатів для мішеней таких захворювань як вірус Ебола[206] та розсіяний склероз.[207][206]

2017 року графові нейронні мережі[en] було вперше використано для передбачування різних властивостей молекул у великому наборі токсикологічних даних.[208] 2019 року породжувальні нейронні мережі було використано для створення молекул, які було перевірено експериментально від початку до кінця на мишах.[209][210]

Управління відносинами з клієнтами

Докладніше: Управління відносинами з клієнтами

Глибоке навчання з підкріпленням[en] використовували для наближування цінності можливих дій прямого маркетингу, визначених у термінах змінних RFM. Було показано, що ця функція оцінки цінності має природну інтерпретацію як пожиттєва цінність клієнта.[211]

Рекомендаційні системи

Докладніше: Рекомендаційна система

Рекомендаційні системи використовували глибоке навчання для виділяння значущих ознак для моделі латентних чинників для музичних та журнальних рекомендацій на основі вмісту.[212][213] Для навчання уподобань користувачів із кількох областей було застосовано багатоаспектне глибоке навчання (англ. multi-view deep learning).[214] Ця модель використовує гібридний спільний та оснований на вмісті підхід, і покращує рекомендації в декількох завданнях.

Біоінформатика

Докладніше: Біоінформатика

Автокодувальну ШНМ використовували в біоінформатиці для передбачування анотацій генної онтології та зв'язків між генами й функціями.[215]

У медичній інформатиці глибоке навчання використовували для передбачування якості сну на основі даних з носимих пристроїв[216] та для передбачування ускладнень здоров'я з даних електронних медичних записів.[217]

Оцінювання глибокими нейронними мережами

Глибокі нейронні мережі (ГНМ) можливо використовувати для оцінювання ентропії стохастичних процесів, їх називають нейронними оцінювачами спільної ентропії (НОСЕ, англ. Neural Joint Entropy Estimator, NJEE).[218] Таке оцінювання дає уявлення про вплив випадкових змінних входу на незалежну випадкову змінну. На практиці, ГНМ тренують як класифікатор, який відображує вектор або матрицю входу X у розподіл імовірності виходу над можливими класами випадкової змінної Y за заданого входу X. Наприклад, у завданнях класифікування зображень НОСЕ відображує вектор значень кольорів пікселів у ймовірності над можливими класами зображень. На практиці розподіл імовірності Y отримують за допомогою шару Softmax із кількістю вузлів, яка дорівнює розміру абетки Y. НОСЕ використовує неперервно диференційовні передавальні функції, так що умови теореми про універсальне наближення виконуються. Показано, що цей метод забезпечує сильно слушну оцінку й перевершує інші методи в разі великих розмірів абетки.[218]

Аналіз медичних зображень

Було показано, що глибоке навчання дає конкурентоспроможні результати в медичних застосуваннях, таких як класифікування ракових клітин, виявляння уражень, сегментування органів та покращування зображень.[219][220] Сучасні інструменти глибокого навчання демонструють високу точність виявляння різних захворювань та доцільність використання їх фахівцями для підвищення ефективності діагностування.[221][222]

Мобільна реклама

Знайти відповідну мобільну аудиторію для мобільної реклами завжди складно, оскільки необхідно розглянути та проаналізувати багато точок даних, перш ніж стане можливо створити цільовий сегмент і використати його для розміщення реклами на будь-якому рекламному сервері.[223] Глибоке навчання використовували для інтерпретування великих, багатовимірних наборів рекламних даних. Під час циклу інтернет-реклами запит/подача/натискання збирають багато точок даних. Ця інформація може ставати основою машинного навчання для покращення обирання оголошень.

Відновлювання зображень

Глибоке навчання було успішно застосовано до обернених задач[en], таких як знешумлювання, надвисока роздільність[en], заповнювання прогалин[en] та кольоризування фільмів.[224] До цих застосувань входять такі методи навчання як «Shrinkage Fields for Effective Image Restoration»,[225] який тренується на наборі зображень, та глибоке апріорне зображень[en] (англ. Deep Image Prior), що тренується на зображенні, якому потрібне відновлення.

Виявляння фінансового шахрайства

Глибоке навчання успішно застосовують для виявляння фінансового шахрайства, ухилення від сплати податків[226] та боротьби з відмиванням грошей.[227]

Матеріалознавство

У листопаді 2023 року дослідники з Google DeepMind та Національної лабораторії ім. Лоуренса в Берклі оголосили, що вони розробили систему ШІ, відому як GNoME. Ця система зробила внесла внесок до матеріалознавства, відкривши понад 2 мільйони нових матеріалів за відносно короткий час. GNoME використовує методики глибокого навчання для ефективного дослідження потенційних структур матеріалів, досягаючи значного зростання у встановлюванні стабільних неорганічних кристалічних структур. Передбачення цієї системи були підтверджені за допомогою автономних роботизованих експериментів, продемонструвавши вражаючий рівень успішності в 71 %. Дані про нововідкриті матеріали доступні публічно через базу даних Materials Project[en], надаючи дослідникам можливість встановлювати матеріали з бажаними властивостями для різних застосувань. Цей розвиток має наслідки для майбутнього наукових відкриттів та інтегрування ШІ в дослідження матеріалознавства, потенційно прискорюючи нововведення в матеріалах та знижуючи вартість розробки продуктів. Використання ШІ та глибокого навчання натякає на можливість мінімізації або виключення ручних лабораторних експериментів та дозволяє науковцям більше зосередитися на проєктуванні й аналізі унікальних сполук.[228][229][230]

Військові

Міністерство оборони Сполучених Штатів застосовувало глибоке навчання, щоб тренувати роботів виконувати нові завдання через спостереження.[231]

Диференціальні рівняння з частинними похідними

Фізичні нейронні мережі (англ. physics informed neural networks) використовували для розв'язування диференціальних рівнянь із частинними похідними як у прямих, так і в обернених задачах на основі даних.[232] Одним із прикладів є відбудова потоку рідини, керована рівняннями Нав'є — Стокса. Використання фізичних нейронних мереж не потребує часто витратного породжування сітки, на яке спираються звичайні методи обчислювальної гідродинаміки.[233][234]

Відбудова зображень

Відбудова зображень (англ. image reconstruction) — це відбудова зображень, що лежать в основі пов'язаних із зображеннями вимірювань. Декілька праць показали кращу та відмінну продуктивність методів глибокого навчання порівняно з аналітичними методами для різних застосувань, наприклад, спектральних[235] та ультразвукових зображень.[236]

Епігенетичний годинник

Докладніше: Епігенетичний годинник[en]

Епігенетичний годинник (англ. epigenetic clock) — це біохімічний тест, який можливо використовувати для вимірювання віку. Галкін зі співавт. використали глибокі нейронні мережі, щоби натренувати епігенетичний годинник старіння з безпрецедентною точністю, використавши понад 6000 зразків крові.[237] Цей годинник використовує інформацію з 1000 CpG-острівців і передбачує людей з певними станами старше здорових контрольних груп: ЗЗК[en], лобово-скроневою деменцією, раком яєчника, ожирінням. Цей годинник старіння планувала випустити для загального використання в 2021 року дочірня компанія компанії Insilico Medicine[en], Deep Longevity.

Відношення до когнітивного розвитку людини та розвитку мозку

Глибоке навчання тісно пов'язане з класом теорій розвитку мозку[en] (особливо нової кори), запропонованих когнітивними нейробіологами на початку 1990-х років.[238][239][240][241] Ці теорії розвитку було втілено в обчислювальних моделях, що зробило їх попередниками систем глибокого навчання. Ці моделі розвитку поділяють таку властивість, що різні запропоновані динаміки навчання в мозку (наприклад, хвиля чинника росту нервів) підтримують самоорганізацію, дещо аналогічну нейронним мережам, які використовують у моделях глибокого навчання. Як і нова кора, нейронні мережі використовують ієрархію багатошарових фільтрів, у яких кожен шар розглядає інформацію з попереднього шару (або робочого середовища), а потім передає свій вихід (і, можливо, початковий вхід) іншим шарам. Цей процес видає самоорганізований стос вимірювальних перетворювачів, добре підлаштованих до їхнього робочого середовища. В описі 1995 року зазначено: «…мозок немовляти, здається, організовується під впливом хвиль так званих чинників росту… різні ділянки мозку стають з'єднаними послідовно, причому один шар тканини дозріває раніше іншого, і так далі, поки не дозріє весь мозок».[242]

Було використано різноманітні підходи для дослідження правдоподібності моделей глибокого навчання з нейробіологічної точки зору. З одного боку, було запропоновано декілька варіантів алгоритму зворотного поширення з метою підвищення реалістичності його обробки.[243][244] Інші дослідники стверджують, що до біологічної дійсності можуть бути ближчими форми некерованого глибокого навчання, такі як ті, що ґрунтуються на ієрархічних породжувальних моделях та глибоких мережах переконань.[245][246] У цьому відношенні моделі породжувальних нейронних мереж пов'язували з нейробіологічними свідченнями обробки в корі головного мозку на основі вибірки.[247]

Хоча систематичного порівняння між організацією людського мозку та нейронним кодуванням у глибоких мережах створено ще не було, було повідомлено про кілька аналогій. Наприклад, обчислення, які виконуються блоками глибокого навчання, можуть бути подібними до обчислень справжніх нейронів[248] і нейронних популяцій.[249] Подібним чином, подання, вироблені моделями глибокого навчання, подібні до тих, які вимірюють у зоровій системі приматів[250] як на рівні окремого вузла[251], так і на рівні популяції.[252]

Комерційна діяльність

Лабораторія ШІ Facebook виконує такі завдання як автоматичне мічення завантажених зображень[en] іменами людей на них.[253]

Google DeepMind Technologies розробила систему, здатну навчитися грати у відеоігри Atari, використовуючи як дані входу лише пікселі. 2015 року вони продемонстрували свою систему AlphaGo, яка навчилася грі Ґо настільки добре, що перемогла професійного гравця.[254][255][256] Перекладач Google використовує нейронну мережу, щоби перекладати між понад 100 мовами.

2017 року було запущено Covariant.ai, зосереджений на інтегруванні глибокого навчання на заводах.[257]

Станом на 2008 рік[258] дослідники Техаського університету в Остіні (UT) розробили систему машинного навчання під назвою Training an Agent Manually via Evaluative Reinforcement (укр. ручне тренування агента через оцінювальне підкріплення), або TAMER, яка запропонувала нові методи для роботів та комп'ютерних програм, як вчитися виконувати завдання шляхом взаємодії з людиною-інструктором.[231] Спершу розроблений як TAMER, новий алгоритм під назвою Deep TAMER було пізніше представлено 2018 року під час співпраці між Дослідницькою лабораторією армії США (ARL) та дослідниками UT. Deep TAMER використовував глибоке навчання, щоби забезпечити роботові здатність навчатися нових завдань шляхом спостерігання.[231] Використовуючи Deep TAMER, робот навчався завдання разом із тренером-людиною, переглядаючи відеопотоки або спостерігаючи, як людина виконує завдання особисто. Пізніше робот відпрацьовував завдання за допомогою тренера, який давав відгуки, такі як «добра робота» та «погана робота».[259]

Критика та коментарі

Глибоке навчання притягувало як критику, так і коментарі, у деяких випадках поза межами галузі інформатики.

Теорія

Див. також: Поясненний штучний інтелект

Основна критика стосується браку теорії навколо деяких методів.[260] Навчання в найпоширеніших глибоких архітектурах втілено за допомогою добре зрозумілого градієнтного спуску. Проте теорія навколо цих алгоритмів, таких як контрастове розходження, не така ясна[джерело?] (наприклад: Він збігається? Якщо так, то як швидко? Що він наближує?). На методи глибокого навчання часто дивляться як на чорну скриньку, роблячи більшість підтверджень емпірично, а не теоретично.[261]

Інші зазначають, що глибоке навчання слід розглядати як крок до втілення сильного ШІ, а не як всеохопне рішення. Незважаючи на потужність методів глибокого навчання, їм все ще бракує значної частини функціональності, необхідної, щоби втілити цю мету повністю. Психолог-дослідник Ґері Маркус[en] зазначив:

Насправді, глибоке навчання це лише частина більшого завдання створення розумних машин. Таким методикам бракує способів подання причинно-наслідкових зв'язків (…) вони не мають очевидних способів здійснення логічних висновків, і вони також ще далекі від поєднання абстрактних знань, таких як інформація про те, чим є об'єкти, для чого вони, і як їх зазвичай використовують. Найпотужніші системи ШІ, такі як Watson (…) використовують такі методики, як глибоке навчання, як лише один з елементів у дуже складному ансамблі методик, починаючи від статистичних методик баєсового висновування, і аж до дедуктивного міркування.[262]

Серед подальших відсилань до тієї ідеї, що художня чутливість може бути притаманна відносно низьким рівням когнітивної ієрархії, опублікована низка графічних зображень внутрішніх станів глибоких (20—30 шарів) нейронних мереж, які намагаються розгледіти серед по суті випадкових даних зображення, на яких їх було треновано,[263] демонструє візуальну привабливість: первинне повідомлення про це дослідження отримало набагато більше за 1000 коментарів і було предметом протягом деякого часу найвідвідуванішої статті на вебсайті Ґардіан.[264]

Помилки

Деякі архітектури глибокого навчання демонструють проблематичну поведінку,[265] наприклад, впевнене класифікування невпізнанних зображень як належних до знайомої категорії звичайних зображень (2014)[266] та неправильне класифікування незначних збурень правильно класифікованих зображень (2013).[267] Ґьорцель припустив, що така поведінка зумовлена обмеженнями у їхніх внутрішніх поданнях, і що ці обмеження перешкоджатимуть інтегруванню до гетерогенної багатокомпонентної архітектури загального штучного інтелекту (ЗШІ).[265] Можливо, ці проблеми можна розв'язати за допомогою архітектур глибокого навчання, які внутрішньо утворюють стани, гомологічні розкладам граматики зображень[268] спостережуваних об'єктів та подій.[265] Виведення граматики[en] (візуальної чи мовної) з тренувальних даних було би рівнозначним обмеженню системи міркуваннями здорового глузду[en], які оперують поняттями в термінах граматичних породжувальних правил[en], і є основною метою як засвоєння мови людиною,[269] так і штучного інтелекту (ШІ).[270]

Кіберзагроза

Коли глибоке навчання переміщується з лабораторії у світ, дослідження та досвід показують вразливість штучних нейронних мереж до хакерів та обману.[271] Визначаючи схеми, які ці системи використовують для функціювання, зловмисники можуть змінювати вхідні дані до ШНМ таким чином, що ШНМ знаходить відповідність, яку люди-спостерігачі не розпізнають. Наприклад, зловмисник може внести незначні зміни в зображення таким чином, що ШНМ знайде збіг, навіть якщо для людини зображення виглядає зовсім не схожим на ціль пошуку. Таке маніпулювання називають «змагальною атакою» (англ. "adversarial attack").[272]

2016 року дослідники скористалися однією ШНМ, щоби, підкориговуючи зображення, методом спроб і помилок визначити, на чому зосереджується інша, й таким чином створити зображення, які вводили її в оману. Для людського ока змінені зображення нічим не відрізнялися. Інша група показала, що роздруківки підроблених зображень, які потім фотографували, успішно обманювали систему класифікування зображень.[273] Одним із засобів захисту є зворотний пошук зображень, під час якого можливе підроблене зображення надсилається на сайт, наприклад TinEye, який потім може знайти інші його примірники. Одне із вдосконалень полягає у пошуку з використанням лише частин зображення, щоби встановити зображення, з яких цей фрагмент могло бути взято.[274]

Інша група показала, що певні психоделічні видовища можуть змусити систему розпізнавання облич вважати звичайних людей знаменитостями, потенційно дозволяючи одній людині видавати себе за іншу. 2017 року дослідники додали наліпки до знаків заборони проїзду без зупинки, змусивши ШНМ класифікувати їх неправильно.[273]

Проте ШНМ можливо додатково тренувати виявляти спроби обману, що потенційно веде до перегонів озброєнь між зловмисниками й захисниками, подібних до тих, які вже є основою індустрії захисту від зловмисних програм. ШНМ було навчено перемагати програмне забезпечення захисту від зловмисного програмного забезпечення на основі ШНМ шляхом повторюваних атак на захист зловмисним програмним забезпеченням, яке постійно змінювалося генетичним алгоритмом, доки воно не ошукало протизловмисне програмне забезпечення, зберігаючи свою здатність пошкоджувати ціль.[273]

2016 року інша група продемонструвала, що певні звуки можуть змусити систему голосових команд Google Now відкрити певну веб-адресу, й висунула гіпотезу, що це може «послужити сходинкою для подальших атак (наприклад, відкривання вебсторінки, на якій розміщено зловмисне програмне забезпечення)».[273]

В «отруюванні даними[en]» до тренувального набору системи машинного навчання систематично підкидають хибні дані, щоби завадити їй досягти майстерності.[273]

Етика збирання даних

Більшість систем глибокого навчання покладаються на тренувальні та контрольні (англ. verification) дані, породжувані та/або розмічувані людьми.[275] У філософії засобів масової інформації стверджують, що для цієї мети регулярно використовують не лише низькооплачувану клікпрацю[en] (наприклад, на Amazon Mechanical Turk), а й неявні форми людської мікропраці[en], які часто не визнають як таку.[276] Філософ Райнер Мюльхоф[de] розрізняє п'ять типів «машинного заволодівання» людською мікропрацею для породжування тренувальних даних: (1) ігрофікація (вбудовування розмічування або обчислювальних завдань у потік гри), (2) «захоплювання та відстежування» (наприклад, CAPTCHA для розпізнавання зображень, або відстежування кліків на сторінках результатів пошуку Google), (3) використання соціальних мотивів (наприклад, позначування облич у Facebook для отримування позначених зображень обличчя), (4) розроблення інформації (наприклад, за допомогою пристроїв самооцифровування[en], таких як відстежувачі активності), та (5) клікпрацю[en].[276]

Мюльхоф стверджує, що в більшості комерційних застосувань глибокого навчання для кінцевих користувачів, таких як система розпізнавання облич Facebook[en], потреба в тренувальних даних після тренування ШНМ не зникає. Скоріше, існує постійна потреба в контрольних даних, створюваних людьми, щоби постійно калібрувати та уточнювати ШНМ. З цією метою Facebook запровадив функцію, що щойно користувачів автоматично розпізнано на зображенні, вони отримують сповіщення. Вони можуть обрати, чи хочуть вони бути публічно позначеними на цьому зображенні, чи повідомити Facebook, що на зображенні не вони.[277] Цей інтерфейс користувача є механізмом породжування «постійного потоку контрольних даних»[276] для подальшого тренування мережі в режимі реального часу. Як стверджує Мюльхоф, залучення людей-користувачів до породжування тренувальних та контрольних даних настільки типове для більшості комерційних застосувань глибокого навчання для кінцевих користувачів, що такі системи можна назвати «штучним інтелектом з участю людини» (англ. "human-aided artificial intelligence").[276]

Див. також

Примітки

  1. ↑ Schulz, Hannes; Behnke, Sven (1 листопада 2012). Deep Learning. KI - Künstliche Intelligenz (англ.). 26 (4): 357—363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987. S2CID 220523562.
  2. ↑ Хома, Ю. В.; Бенч, А. Я. (2019). Порівняльний аналіз програмно-апаратного забезпечення алгоритмів глибокого навчання (PDF). Комп'ютерні системи і мережі (укр.). 1 (1): 97—102.
  3. ↑ Дорош, Н. Л.; Цаплюк, О. В. (3-5 листопада 2021). Розпізнавання зображень алгоритмом глибокого навчання (PDF). VII Міжнародна науково-технічна конференція «Комп'ютерне моделювання та оптимізація складних систем» (укр.). Дніпро: УДХТУ. с. 91—92.
  4. ↑ Бродкевич, В. М.; Ремесло, В. Я. (2018). Алгоритми машинного навчання (МН) та глибокого навчання (ГН) і їх використання в прикладних додатках (PDF). Міжнародний науковий журнал «Інтернаука» (укр.). Київ. 1 (11 (51)): 56—60. ISSN 2520-2057.
  5. ↑ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). Deep Learning. Nature (англ.). 521 (7553): 436—444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  6. ↑ а б в Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). Multi-column deep neural networks for image classification. 2012 IEEE Conference on Computer Vision and Pattern Recognition (англ.). с. 3642—3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. S2CID 2161592.
  7. ↑ а б Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). ImageNet Classification with Deep Convolutional Neural Networks (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada (англ.). Архів (PDF) оригіналу за 10 січня 2017. Процитовано 24 травня 2017.
  8. ↑ Google's AlphaGo AI wins three-match series against the world's best Go player. TechCrunch (англ.). 25 травня 2017. Архів оригіналу за 17 червня 2018. Процитовано 17 червня 2018.
  9. ↑ Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). Toward an Integration of Deep Learning and Neuroscience. Frontiers in Computational Neuroscience (англ.). 10: 94. arXiv:1606.03813. Bibcode:2016arXiv160603813M. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554. S2CID 1994856.
  10. ↑ Bengio, Yoshua; Lee, Dong-Hyun; Bornschein, Jorg; Mesnard, Thomas; Lin, Zhouhan (13 лютого 2015). Towards Biologically Plausible Deep Learning (англ.). arXiv:1502.04156 [cs.LG].
  11. ↑ Study urges caution when comparing neural networks to the brain. MIT News | Massachusetts Institute of Technology (англ.). 2 листопада 2022. Процитовано 6 грудня 2023.
  12. ↑ а б в г д е Deng, L.; Yu, D. (2014). Deep Learning: Methods and Applications (PDF). Foundations and Trends in Signal Processing (англ.). 7 (3–4): 1—199. doi:10.1561/2000000039. Архів (PDF) оригіналу за 14 березня 2016. Процитовано 18 жовтня 2014.
  13. ↑ Zhang, W. J.; Yang, G.; Ji, C.; Gupta, M. M. (2018). On Definition of Deep Learning. 2018 World Automation Congress (WAC) (англ.). с. 1—5. doi:10.23919/WAC.2018.8430387. ISBN 978-1-5323-7791-4. S2CID 51971897.
  14. ↑ а б в г Bengio, Yoshua (2009). Learning Deep Architectures for AI (PDF). Foundations and Trends in Machine Learning (англ.). 2 (1): 1—127. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. S2CID 207178999. Архів оригіналу (PDF) за 4 березня 2016. Процитовано 3 вересня 2015.
  15. ↑ а б в г д Bengio, Y.; Courville, A.; Vincent, P. (2013). Representation Learning: A Review and New Perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence (англ.). 35 (8): 1798—1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
  16. ↑ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 травня 2015). Deep learning. Nature (англ.). 521 (7553): 436—444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  17. ↑ а б в г д е ж и к л Schmidhuber, J. (2015). Deep Learning in Neural Networks: An Overview. Neural Networks (англ.). 61: 85—117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
  18. ↑ Shigeki, Sugiyama (12 квітня 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities (англ.). IGI Global. ISBN 978-1-5225-8218-2.
  19. ↑ Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). Greedy layer-wise training of deep networks (PDF). Advances in neural information processing systems (англ.). с. 153—160. Архів (PDF) оригіналу за 20 жовтня 2019. Процитовано 6 жовтня 2019.
  20. ↑ а б Hinton, G.E. (2009). Deep belief networks. Scholarpedia (англ.). 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
  21. ↑ Sahu, Santosh Kumar; Mokhade, Anil; Bokde, Neeraj Dhanraj (січень 2023). An Overview of Machine Learning, Deep Learning, and Reinforcement Learning-Based Techniques in Quantitative Finance: Recent Progress and Challenges. Applied Sciences (англ.). 13 (3): 1956. doi:10.3390/app13031956. ISSN 2076-3417.
  22. ↑ а б в Cybenko (1989). Approximations by superpositions of sigmoidal functions (PDF). Mathematics of Control, Signals, and Systems[en] (англ.). 2 (4): 303—314. doi:10.1007/bf02551274. S2CID 3958369. Архів оригіналу (PDF) за 10 October 2015.
  23. ↑ а б в Hornik, Kurt (1991). Approximation Capabilities of Multilayer Feedforward Networks. Neural Networks (англ.). 4 (2): 251—257. doi:10.1016/0893-6080(91)90009-t. S2CID 7343126.
  24. ↑ а б Haykin, Simon S. (1999). Neural Networks: A Comprehensive Foundation (англ.). Prentice Hall. ISBN 978-0-13-273350-2.
  25. ↑ а б Hassoun, Mohamad H. (1995). Fundamentals of Artificial Neural Networks (англ.). MIT Press. с. 48. ISBN 978-0-262-08239-6.
  26. ↑ а б Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). The Expressive Power of Neural Networks: A View from the Width [Архівовано 2019-02-13 у Wayback Machine.]. Neural Information Processing Systems, 6231-6239. (англ.)
  27. ↑ Orhan, A. E.; Ma, W. J. (2017). Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback. Nature Communications (англ.). 8 (1): 138. Bibcode:2017NatCo...8..138O. doi:10.1038/s41467-017-00181-8. PMC 5527101. PMID 28743932.
  28. ↑ а б в г Murphy, Kevin P. (24 серпня 2012). Machine Learning: A Probabilistic Perspective (англ.). MIT Press. ISBN 978-0-262-01802-9.
  29. ↑ а б Fukushima, K. (1969). Visual feature extraction by a multilayered network of analog threshold elements. IEEE Transactions on Systems Science and Cybernetics (англ.). 5 (4): 322—333. doi:10.1109/TSSC.1969.300225.
  30. ↑ Sonoda, Sho; Murata, Noboru (2017). Neural network with unbounded activation functions is universal approximator. Applied and Computational Harmonic Analysis (англ.). 43 (2): 233—268. arXiv:1505.03654. doi:10.1016/j.acha.2015.12.005. S2CID 12149203.
  31. ↑ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning (PDF) (англ.). Springer. ISBN 978-0-387-31073-2. Архів (PDF) оригіналу за 11 січня 2017. Процитовано 6 серпня 2017.
  32. ↑ Brush, Stephen G. (1967). History of the Lenz-Ising Model. Reviews of Modern Physics (англ.). 39 (4): 883—893. Bibcode:1967RvMP...39..883B. doi:10.1103/RevModPhys.39.883.
  33. ↑ Amari, Shun-Ichi (1972). Learning patterns and pattern sequences by self-organizing nets of threshold elements. IEEE Transactions (англ.). C (21): 1197—1206.
  34. ↑ а б в г д е ж и к л м н п р Schmidhuber, Jürgen (2022). Annotated History of Modern AI and Deep Learning (англ.). arXiv:2212.11279 [cs.NE].
  35. ↑ Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences (англ.). 79 (8): 2554—2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.
  36. ↑ Tappert, Charles C. (2019). Who Is the Father of Deep Learning?. 2019 International Conference on Computational Science and Computational Intelligence (CSCI) (англ.). IEEE. с. 343—348. doi:10.1109/CSCI49370.2019.00067. ISBN 978-1-7281-5584-5. S2CID 216043128. Процитовано 31 травня 2021.
  37. ↑ а б в Rosenblatt, Frank (1962). Principles of Neurodynamics (англ.). Spartan, New York.
  38. ↑ а б Rina Dechter[en] (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.Online [Архівовано 2016-04-19 у Wayback Machine.] (англ.)
  39. ↑ Fradkov, Alexander L. (1 січня 2020). Early History of Machine Learning. IFAC-PapersOnLine. 21st IFAC World Congress (англ.). 53 (2): 1385—1390. doi:10.1016/j.ifacol.2020.12.1888. ISSN 2405-8963. S2CID 235081987.
  40. ↑ Ivakhnenko, A. G.; Lapa, V. G. (1967). Cybernetics and Forecasting Techniques (англ.). American Elsevier Publishing Co. ISBN 978-0-444-00020-0.
  41. ↑ а б Ivakhnenko, Alexey (1971). Polynomial theory of complex systems (PDF). IEEE Transactions on Systems, Man, and Cybernetics (англ.). SMC-1 (4): 364—378. doi:10.1109/TSMC.1971.4308320. Архів (PDF) оригіналу за 29 серпня 2017. Процитовано 5 листопада 2019.
  42. ↑ Robbins, H.; Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics (англ.). 22 (3): 400. doi:10.1214/aoms/1177729586.
  43. ↑ Amari, Shun'ichi (1967). A theory of adaptive pattern classifier. IEEE Transactions (англ.). EC (16): 279—307.
  44. ↑ Matthew Brand (1988) Machine and Brain Learning. University of Chicago Tutorial Studies Bachelor's Thesis, 1988. Reported at the Summer Linguistics Institute, Stanford University, 1987 (англ.)
  45. ↑ Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (фін.). University of Helsinki. с. 6—7.
  46. ↑ Linnainmaa, Seppo (1976). Taylor expansion of the accumulated rounding error. BIT Numerical Mathematics (англ.). 16 (2): 146—160. doi:10.1007/bf01931367. S2CID 122357351.
  47. ↑ Griewank, Andreas (2012). Who Invented the Reverse Mode of Differentiation? (PDF). Documenta Mathematica (англ.) (Extra Volume ISMP): 389—400. Архів оригіналу (PDF) за 21 липня 2017. Процитовано 11 червня 2017.
  48. ↑ Leibniz, Gottfried Wilhelm Freiherr von (1920). The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir) (англ.). Open court publishing Company. ISBN 9780598818461.
  49. ↑ Kelley, Henry J. (1960). Gradient theory of optimal flight paths. ARS Journal (англ.). 30 (10): 947—954. doi:10.2514/8.5282.
  50. ↑ Werbos, Paul (1982). Applications of advances in nonlinear sensitivity analysis. System modeling and optimization (англ.). Springer. с. 762—770.
  51. ↑ Werbos, P. (1974). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Harvard University (англ.). Процитовано 12 червня 2017.
  52. ↑ Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation [Архівовано 2022-10-13 у Wayback Machine.]". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986. (англ.)
  53. ↑ Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biol. Cybern. (англ.). 36 (4): 193—202. doi:10.1007/bf00344251. PMID 7370364. S2CID 206775608.
  54. ↑ Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (16 жовтня 2017). Searching for Activation Functions (англ.). arXiv:1710.05941 [cs.NE].
  55. ↑ Aizenberg, I.N.; Aizenberg, N.N.; Vandewalle, J. (2000). Multi-Valued and Universal Binary Neurons (англ.). Science & Business Media. doi:10.1007/978-1-4757-3115-6. ISBN 978-0-7923-7824-2. Процитовано 27 грудня 2023.
  56. ↑ Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005. (англ.)
  57. ↑ а б Zhang, Wei (1988). Shift-invariant pattern recognition neural network and its optical architecture. Proceedings of Annual Conference of the Japan Society of Applied Physics (англ.).
  58. ↑ Zhang, Wei (1990). Parallel distributed processing model with local space-invariant interconnections and its optical architecture. Applied Optics (англ.). 29 (32): 4790—7. Bibcode:1990ApOpt..29.4790Z. doi:10.1364/AO.29.004790. PMID 20577468.
  59. ↑ а б LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, 1, pp. 541–551, 1989. (англ.)
  60. ↑ Zhang, Wei (1991). Image processing of human corneal endothelium based on a learning network. Applied Optics (англ.). 30 (29): 4211—7. Bibcode:1991ApOpt..30.4211Z. doi:10.1364/AO.30.004211. PMID 20706526.
  61. ↑ Zhang, Wei (1994). Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network. Medical Physics (англ.). 21 (4): 517—24. Bibcode:1994MedPh..21..517Z. doi:10.1118/1.597177. PMID 8058017.
  62. ↑ LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). Gradient-based learning applied to document recognition (PDF). Proceedings of the IEEE (англ.). 86 (11): 2278—2324. CiteSeerX 10.1.1.32.9552. doi:10.1109/5.726791. S2CID 14542261. Процитовано 7 жовтня 2016.
  63. ↑ а б в Schmidhuber, Jürgen (1992). Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991) (PDF). Neural Computation (англ.). 4 (2): 234—242. doi:10.1162/neco.1992.4.2.234. S2CID 18271205.{{cite journal}}: Обслуговування CS1: Сторінки з параметром url-status, але без параметра archive-url (посилання)
  64. ↑ Schmidhuber, Jürgen (1993). Habilitation Thesis (PDF) (нім.). Архів оригіналу (PDF) за 26 червня 2021.
  65. ↑ Schmidhuber, Jürgen (1 листопада 1992). Learning to control fast-weight memories: an alternative to recurrent nets. Neural Computation (англ.). 4 (1): 131—139. doi:10.1162/neco.1992.4.1.131. S2CID 16683347.
  66. ↑ а б Schlag, Imanol; Irie, Kazuki; Schmidhuber, Jürgen (2021). Linear Transformers Are Secretly Fast Weight Programmers. ICML 2021 (англ.). Springer. с. 9355—9366.
  67. ↑ Choromanski, Krzysztof; Likhosherstov, Valerii; Dohan, David; Song, Xingyou; Gane, Andreea; Sarlos, Tamas; Hawkins, Peter; Davis, Jared; Mohiuddin, Afroz; Kaiser, Lukasz; Belanger, David; Colwell, Lucy; Weller, Adrian (2020). Rethinking Attention with Performers (англ.). arXiv:2009.14794 [cs.CL].
  68. ↑ Schmidhuber, Jürgen (1993). Reducing the ratio between learning complexity and number of time-varying variables in fully recurrent nets. ICANN 1993 (англ.). Springer. с. 460—463.
  69. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (12 червня 2017). Attention Is All You Need (англ.). arXiv:1706.03762 [cs.CL].
  70. ↑ Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi; Funtowicz, Morgan; Davison, Joe; Shleifer, Sam; von Platen, Patrick; Ma, Clara; Jernite, Yacine; Plu, Julien; Xu, Canwen; Le Scao, Teven; Gugger, Sylvain; Drame, Mariama; Lhoest, Quentin; Rush, Alexander (2020). Transformers: State-of-the-Art Natural Language Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (англ.). с. 38—45. doi:10.18653/v1/2020.emnlp-demos.6. S2CID 208117506.
  71. ↑ He, Cheng (31 грудня 2021). Transformer in CV. Transformer in CV (англ.). Towards Data Science.
  72. ↑ Schmidhuber, Jürgen (1991). A possibility for implementing curiosity and boredom in model-building neural controllers. Proc. SAB'1991 (англ.). MIT Press/Bradford Books. с. 222—227.
  73. ↑ Schmidhuber, Jürgen (2010). Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010). IEEE Transactions on Autonomous Mental Development (англ.). 2 (3): 230—247. doi:10.1109/TAMD.2010.2056368. S2CID 234198.
  74. ↑ Schmidhuber, Jürgen (2020). Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991). Neural Networks (англ.). 127: 58—66. arXiv:1906.04493. doi:10.1016/j.neunet.2020.04.008. PMID 32334341. S2CID 216056336.
  75. ↑ Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF). Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014) (англ.). с. 2672—2680. Архів (PDF) оригіналу за 22 листопада 2019. Процитовано 20 серпня 2019.
  76. ↑ Prepare, Don't Panic: Synthetic Media and Deepfakes (англ.). witness.org. Архів оригіналу за 2 грудня 2020. Процитовано 25 листопада 2020.
  77. ↑ GAN 2.0: NVIDIA's Hyperrealistic Face Generator. SyncedReview.com (англ.). 14 грудня 2018. Процитовано 3 жовтня 2019.
  78. ↑ Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (26 лютого 2018). Progressive Growing of GANs for Improved Quality, Stability, and Variation (англ.). arXiv:1710.10196 [cs.NE].
  79. ↑ а б в S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen". [Архівовано 2015-03-06 у Wayback Machine.]. Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991. (нім.)
  80. ↑ Hochreiter, S. та ін. (15 січня 2001). Gradient flow in recurrent nets: the difficulty of learning long-term dependencies. У Kolen, John F.; Kremer, Stefan C. (ред.). A Field Guide to Dynamical Recurrent Networks (англ.). John Wiley & Sons. ISBN 978-0-7803-5369-5.
  81. ↑ а б в Hochreiter, Sepp; Schmidhuber, Jürgen (1 листопада 1997). Long Short-Term Memory. Neural Computation (англ.). 9 (8): 1735—1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276. S2CID 1915014.
  82. ↑ Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). Learning to forget: Continual prediction with LSTM. 9th International Conference on Artificial Neural Networks: ICANN '99 (англ.). Т. 1999. с. 850—855. doi:10.1049/cp:19991218. ISBN 0-85296-721-7.
  83. ↑ Srivastava, Rupesh Kumar; Greff, Klaus; Schmidhuber, Jürgen (2 травня 2015). Highway Networks (англ.). arXiv:1505.00387 [cs.LG].
  84. ↑ Srivastava, Rupesh K; Greff, Klaus; Schmidhuber, Jürgen (2015). Training Very Deep Networks. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 28: 2377—2385.
  85. ↑ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (англ.). Las Vegas, NV, USA: IEEE. с. 770—778. arXiv:1512.03385. doi:10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1.
  86. ↑ de Carvalho, Andre C. L. F.; Fairhurst, Mike C.; Bisset, David (8 серпня 1994). An integrated Boolean neural network for pattern classification. Pattern Recognition Letters (англ.). 15 (8): 807—813. Bibcode:1994PaReL..15..807D. doi:10.1016/0167-8655(94)90009-4.
  87. ↑ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (26 травня 1995). The wake-sleep algorithm for unsupervised neural networks. Science (англ.). 268 (5214): 1158—1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831. S2CID 871473.
  88. ↑ Behnke, Sven (2003). Hierarchical Neural Networks for Image Interpretation. Lecture Notes in Computer Science (англ.). Т. 2766. Springer. doi:10.1007/b11963. ISBN 3-540-40722-7. S2CID 1304548.
  89. ↑ Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1 серпня 1993). Hybrid neural network/hidden markov model systems for continuous speech recognition. International Journal of Pattern Recognition and Artificial Intelligence (англ.). 07 (4): 899—916. doi:10.1142/s0218001493000455. ISSN 0218-0014.
  90. ↑ Robinson, T. (1992). A real-time recurrent error propagation network word recognition system. ICASSP. Icassp'92 (англ.): 617—620. ISBN 9780780305328. Архів оригіналу за 9 травня 2021. Процитовано 12 червня 2017.
  91. ↑ Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K. J. (March 1989). Phoneme recognition using time-delay neural networks (PDF). IEEE Transactions on Acoustics, Speech, and Signal Processing (англ.). 37 (3): 328—339. doi:10.1109/29.21701. hdl:10338.dmlcz/135496. ISSN 0096-3518. S2CID 9563026. Архів (PDF) оригіналу за 27 квітня 2021. Процитовано 24 вересня 2019.
  92. ↑ Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). Research Developments and Directions in Speech Recognition and Understanding, Part 1. IEEE Signal Processing Magazine (англ.). 26 (3): 75—80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166. hdl:1721.1/51891. S2CID 357467.
  93. ↑ Bengio, Y. (1991). Artificial Neural Networks and their Application to Speech/Sequence Recognition (англ.). McGill University Ph.D. thesis. Архів оригіналу за 9 травня 2021. Процитовано 12 червня 2017.
  94. ↑ Deng, L.; Hassanein, K.; Elmasry, M. (1994). Analysis of correlation structure for a neural predictive model with applications to speech recognition. Neural Networks (англ.). 7 (2): 331—339. doi:10.1016/0893-6080(94)90027-2.
  95. ↑ Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective. Speech Communication (англ.). 31 (2): 225—254. doi:10.1016/S0167-6393(99)00080-1.
  96. ↑ а б Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design. Speech Communication (англ.). 31 (2): 181—192. doi:10.1016/s0167-6393(99)00077-1.
  97. ↑ Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available). ResearchGate (англ.). Архів оригіналу за 9 травня 2021. Процитовано 14 червня 2017.
  98. ↑ а б Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). Biologically Plausible Speech Recognition with LSTM Neural Nets (PDF). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland (англ.). с. 175—184. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 9 квітня 2016.
  99. ↑ а б в Graves, Alex; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks. Proceedings of the International Conference on Machine Learning, ICML 2006 (англ.): 369—376. CiteSeerX 10.1.1.75.6306.
  100. ↑ Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). An application of recurrent neural networks to discriminative keyword spotting [Архівовано 2018-11-18 у Wayback Machine.]. Proceedings of ICANN (2), pp. 220–229. (англ.)
  101. ↑ а б в Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 2015). Google voice search: faster and more accurate (англ.). Архів оригіналу за 9 березня 2016. Процитовано 9 квітня 2016.
  102. ↑ Yann LeCun (2016). Slides on Deep Learning Online [Архівовано 2016-04-23 у Wayback Machine.] (англ.)
  103. ↑ Hinton, Geoffrey E. (1 жовтня 2007). Learning multiple layers of representation. Trends in Cognitive Sciences (англ.). 11 (10): 428—434. doi:10.1016/j.tics.2007.09.004. ISSN 1364-6613. PMID 17921042. S2CID 15066318. Архів оригіналу за 11 жовтня 2013. Процитовано 12 червня 2017.
  104. ↑ Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). A Fast Learning Algorithm for Deep Belief Nets (PDF). Neural Computation[en] (англ.). 18 (7): 1527—1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950. Архів (PDF) оригіналу за 23 грудня 2015. Процитовано 20 липня 2011.
  105. ↑ Bengio, Yoshua (2012). Practical recommendations for gradient-based training of deep architectures (англ.). arXiv:1206.5533 [cs.LG].
  106. ↑ G. E. Hinton., "Learning multiple layers of representation". [Архівовано 2018-05-22 у Wayback Machine.]. Trends in Cognitive Sciences, 11, pp. 428–434, 2007. (англ.)
  107. ↑ а б в Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; Sainath, T.; Kingsbury, B. (2012). Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups. IEEE Signal Processing Magazine (англ.). 29 (6): 82—97. Bibcode:2012ISPM...29...82H. doi:10.1109/msp.2012.2205597. S2CID 206485943.
  108. ↑ а б в Deng, L.; Hinton, G.; Kingsbury, B. (травень 2013). New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP) (PDF) (англ.). Microsoft. Архів (PDF) оригіналу за 26 вересня 2017. Процитовано 27 грудня 2023.
  109. ↑ а б в Yu, D.; Deng, L. (2014). Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer) (англ.). Springer. ISBN 978-1-4471-5779-3.
  110. ↑ Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research. Microsoft Research (англ.). 3 грудня 2015. Архів оригіналу за 16 березня 2018. Процитовано 16 березня 2018.
  111. ↑ а б Li, Deng (September 2014). Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'. Interspeech (англ.). Архів оригіналу за 26 вересня 2017. Процитовано 12 червня 2017.
  112. ↑ Yu, D.; Deng, L. (2010). Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition. NIPS Workshop on Deep Learning and Unsupervised Feature Learning (англ.). Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.
  113. ↑ Seide, F.; Li, G.; Yu, D. (2011). Conversational speech transcription using context-dependent deep neural networks. Interspeech (англ.): 437—440. doi:10.21437/Interspeech.2011-169. S2CID 398770. Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.
  114. ↑ Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (1 травня 2013). Recent Advances in Deep Learning for Speech Research at Microsoft. Microsoft Research (англ.). Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.
  115. ↑ Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). Non-linear frequency warping using constant-Q transformation for speech emotion recognition. 2021 International Conference on Computer Communication and Informatics (ICCCI) (англ.). с. 1—4. arXiv:2102.04029. doi:10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID 231846518.
  116. ↑ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling (PDF) (англ.). Архів оригіналу (PDF) за 24 квітня 2018.
  117. ↑ Li, Xiangang; Wu, Xihong (2014). Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition. arXiv:1410.4281 [cs.CL]. {{cite arXiv}}: Проігноровано невідомий параметр |langyage= (довідка)
  118. ↑ Zen, Heiga; Sak, Hasim (2015). Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis (PDF). Google.com (англ.). ICASSP. с. 4470—4474. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 13 червня 2017.
  119. ↑ Nvidia CEO bets big on deep learning and VR (англ.). Venture Beat. 5 квітня 2016. Архів оригіналу за 25 листопада 2020. Процитовано 21 квітня 2017.
  120. ↑ From not working to neural networking. The Economist (англ.). Архів оригіналу за 31 грудня 2016. Процитовано 26 серпня 2017.
  121. ↑ а б Oh, K.-S.; Jung, K. (2004). GPU implementation of neural networks. Pattern Recognition (англ.). 37 (6): 1311—1314. Bibcode:2004PatRe..37.1311O. doi:10.1016/j.patcog.2004.01.013.
  122. ↑ "A Survey of Techniques for Optimizing Deep Learning on GPUs [Архівовано 2021-05-09 у Wayback Machine.]", S. Mittal and S. Vaishay, Journal of Systems Architecture, 2019 (англ.)
  123. ↑ а б Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing (англ.), архів оригіналу за 18 травня 2020, процитовано 14 лютого 2021
  124. ↑ Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (21 вересня 2010). Deep, Big, Simple Neural Nets for Handwritten Digit Recognition. Neural Computation (англ.). 22 (12): 3207—3220. arXiv:1003.0358. doi:10.1162/neco_a_00052. ISSN 0899-7667. PMID 20858131. S2CID 1918673.
  125. ↑ Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). Large-scale deep unsupervised learning using graphics processors. Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09 (англ.). New York, NY, USA: ACM. с. 873—880. CiteSeerX 10.1.1.154.372. doi:10.1145/1553374.1553486. ISBN 9781605585161. S2CID 392458.
  126. ↑ Sze, Vivienne; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). Efficient Processing of Deep Neural Networks: A Tutorial and Survey. arXiv:1703.09039 [cs.CV].
  127. ↑ Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552 (англ.)
  128. ↑ Google Research Blog. The neural networks behind Google Voice transcription. August 11, 2015. By Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html (англ.)
  129. ↑ Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L.M.; Schmidhuber, J. (2011). Flexible, High Performance Convolutional Neural Networks for Image Classification (PDF). International Joint Conference on Artificial Intelligence (англ.). doi:10.5591/978-1-57735-516-8/ijcai11-210. Архів (PDF) оригіналу за 29 вересня 2014. Процитовано 13 червня 2017.
  130. ↑ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, C. J. C.; Bottou, L.; Weinberger, K. Q. (ред.). Advances in Neural Information Processing Systems 25 (PDF) (англ.). Curran Associates, Inc. с. 2843—2851. Архів (PDF) оригіналу за 9 серпня 2017. Процитовано 13 червня 2017.
  131. ↑ Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Lecture Notes in Computer Science (англ.). Т. 7908, № Pt 2. с. 411—418. doi:10.1007/978-3-642-40763-5_51. ISBN 978-3-642-38708-1. PMID 24579167.
  132. ↑ Simonyan, Karen; Andrew, Zisserman (2014). Very Deep Convolution Networks for Large Scale Image Recognition (англ.). arXiv:1409.1556 [cs.CV].
  133. ↑ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). Show and Tell: A Neural Image Caption Generator (англ.). arXiv:1411.4555 [cs.CV]..
  134. ↑ Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). From Captions to Visual Concepts and Back (англ.). arXiv:1411.4952 [cs.CV]..
  135. ↑ Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models (англ.). arXiv:1411.2539 [cs.LG]..
  136. ↑ а б Merck Molecular Activity Challenge. kaggle.com (англ.). Архів оригіналу за 16 липня 2020. Процитовано 16 липня 2020.
  137. ↑ а б Multi-task Neural Networks for QSAR Predictions | Data Science Association. www.datascienceassn.org (англ.). Архів оригіналу за 30 квітня 2017. Процитовано 14 червня 2017.
  138. ↑ а б "Toxicology in the 21st century Data Challenge" (англ.)
  139. ↑ а б NCATS Announces Tox21 Data Challenge Winners (англ.). Архів оригіналу за 8 вересня 2015. Процитовано 5 березня 2015.
  140. ↑ а б NCATS Announces Tox21 Data Challenge Winners (англ.). Архів оригіналу за 28 лютого 2015. Процитовано 5 березня 2015.
  141. ↑ Why Deep Learning Is Suddenly Changing Your Life. Fortune (англ.). 2016. Архів оригіналу за 14 квітня 2018. Процитовано 13 квітня 2018.
  142. ↑ Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies (англ.). Sourcebooks. ISBN 978-1492671206.
  143. ↑ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (January 2016). Mastering the game of Go with deep neural networks and tree search. Nature (англ.). 529 (7587): 484—489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042. S2CID 515925.
  144. ↑ A Guide to Deep Learning and Neural Networks (англ.), архів оригіналу за 2 листопада 2020, процитовано 16 листопада 2020
  145. ↑ Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). Deep neural networks for object detection. Advances in Neural Information Processing Systems (англ.): 2553—2561. Архів оригіналу за 29 червня 2017. Процитовано 13 червня 2017.
  146. ↑ Rolnick, David; Tegmark, Max (2018). The power of deeper networks for expressing natural functions. International Conference on Learning Representations. ICLR 2018 (англ.). Архів оригіналу за 7 січня 2021. Процитовано 5 січня 2021.
  147. ↑ Hof, Robert D. Is Artificial Intelligence Finally Coming into Its Own?. MIT Technology Review (англ.). Архів оригіналу за 31 березня 2019. Процитовано 10 липня 2018.
  148. ↑ а б Gers, Felix A.; Schmidhuber, Jürgen (2001). LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages. IEEE Transactions on Neural Networks (англ.). 12 (6): 1333—1340. doi:10.1109/72.963769. PMID 18249962. S2CID 10192330. Архів оригіналу за 26 січня 2020. Процитовано 25 лютого 2020.
  149. ↑ а б в Sutskever, L.; Vinyals, O.; Le, Q. (2014). Sequence to Sequence Learning with Neural Networks (PDF). Proc. NIPS (англ.). arXiv:1409.3215. Bibcode:2014arXiv1409.3215S. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 13 червня 2017.
  150. ↑ а б Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). Exploring the Limits of Language Modeling (англ.). arXiv:1602.02410 [cs.CL].
  151. ↑ а б Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). Multilingual Language Processing from Bytes (англ.). arXiv:1512.00103 [cs.CL].
  152. ↑ Mikolov, T. та ін. (2010). Recurrent neural network based language model (PDF). Interspeech (англ.): 1045—1048. doi:10.21437/Interspeech.2010-343. S2CID 17048224. Архів (PDF) оригіналу за 16 травня 2017. Процитовано 13 червня 2017.
  153. ↑ а б Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available). ResearchGate (англ.). Архів оригіналу за 9 травня 2021. Процитовано 13 червня 2017.
  154. ↑ LeCun, Y. та ін. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE (англ.). 86 (11): 2278—2324. doi:10.1109/5.726791. S2CID 14542261.
  155. ↑ Sainath, Tara N.; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). Deep convolutional neural networks for LVCSR. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (англ.). с. 8614—8618. doi:10.1109/icassp.2013.6639347. ISBN 978-1-4799-0356-6. S2CID 13816461.
  156. ↑ Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). Advances in optimizing recurrent networks. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (англ.). с. 8624—8628. arXiv:1212.0901. CiteSeerX 10.1.1.752.9151. doi:10.1109/icassp.2013.6639349. ISBN 978-1-4799-0356-6. S2CID 12485056.
  157. ↑ Dahl, G. та ін. (2013). Improving DNNs for LVCSR using rectified linear units and dropout (PDF). ICASSP (англ.). Архів (PDF) оригіналу за 12 серпня 2017. Процитовано 13 червня 2017.
  158. ↑ Data Augmentation - deeplearning.ai | Coursera. Coursera (англ.). Архів оригіналу за 1 грудня 2017. Процитовано 30 листопада 2017.
  159. ↑ Hinton, G. E. (2010). A Practical Guide to Training Restricted Boltzmann Machines. Tech. Rep. UTML TR 2010-003 (англ.). Архів оригіналу за 9 травня 2021. Процитовано 13 червня 2017.
  160. ↑ You, Yang; Buluç, Aydın; Demmel, James (November 2017). Scaling deep learning on GPU and knights landing clusters. Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17 (англ.). SC '17, ACM. с. 1—12. doi:10.1145/3126908.3126912. ISBN 9781450351140. S2CID 8869270. Архів оригіналу за 29 липня 2020. Процитовано 5 березня 2018.
  161. ↑ Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi. The Journal of Supercomputing (англ.). 75: 197—227. arXiv:1702.07908. Bibcode:2017arXiv170207908V. doi:10.1007/s11227-017-1994-x. S2CID 14135321.
  162. ↑ Ting Qin, et al. "A learning algorithm of CMAC based on RLS". Neural Processing Letters 19.1 (2004): 49-61. (англ.)
  163. ↑ Ting Qin, et al. "Continuous CMAC-QRLS and its systolic array". [Архівовано 2018-11-18 у Wayback Machine.]. Neural Processing Letters 22.1 (2005): 1-16. (англ.)
  164. ↑ Research, AI (23 жовтня 2015). Deep Neural Networks for Acoustic Modeling in Speech Recognition. airesearch.com (англ.). Архів оригіналу за 1 лютого 2016. Процитовано 23 жовтня 2015.
  165. ↑ GPUs Continue to Dominate the AI Accelerator Market for Now. InformationWeek (англ.). December 2019. Архів оригіналу за 10 червня 2020. Процитовано 11 червня 2020.
  166. ↑ Ray, Tiernan (2019). AI is changing the entire nature of computation. ZDNet (англ.). Архів оригіналу за 25 травня 2020. Процитовано 11 червня 2020.
  167. ↑ AI and Compute. OpenAI (англ.). 16 травня 2018. Архів оригіналу за 17 червня 2020. Процитовано 11 червня 2020.
  168. ↑ HUAWEI Reveals the Future of Mobile AI at IFA 2017 | HUAWEI Latest News | HUAWEI Global. consumer.huawei.com (англ.). Архів оригіналу за 10 листопада 2021. Процитовано 30 липня 2023.
  169. ↑ P, JouppiNorman; YoungCliff; PatilNishant; PattersonDavid; AgrawalGaurav; BajwaRaminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (24 червня 2017). In-Datacenter Performance Analysis of a Tensor Processing Unit. ACM SIGARCH Computer Architecture News (англ.). 45 (2): 1—12. arXiv:1704.04760. doi:10.1145/3140659.3080246.
  170. ↑ Woodie, Alex (1 листопада 2021). Cerebras Hits the Accelerator for Deep Learning Workloads. Datanami (англ.). Процитовано 3 серпня 2022.
  171. ↑ Cerebras launches new AI supercomputing processor with 2.6 trillion transistors. VentureBeat (амер.). 20 квітня 2021. Процитовано 3 серпня 2022.
  172. ↑ Marega, Guilherme Migliato; Zhao, Yanfei; Avsar, Ahmet; Wang, Zhenyu; Tripati, Mukesh; Radenovic, Aleksandra; Kis, Anras (2020). Logic-in-memory based on an atomically thin semiconductor. Nature (англ.). 587 (2): 72—77. Bibcode:2020Natur.587...72M. doi:10.1038/s41586-020-2861-0. PMC 7116757. PMID 33149289.
  173. ↑ а б в Feldmann, J.; Youngblood, N.; Karpov, M. та ін. (2021). Parallel convolutional processing using an integrated photonic tensor. Nature (англ.). 589 (2): 52—58. arXiv:2002.00281. doi:10.1038/s41586-020-03070-1. PMID 33408373. S2CID 211010976.
  174. ↑ Garofolo, J.S.; Lamel, L.F.; Fisher, W.M.; Fiscus, J.G.; Pallett, D.S.; Dahlgren, N.L.; Zue, V. (1993). TIMIT Acoustic-Phonetic Continuous Speech Corpus (англ.). Linguistic Data Consortium. doi:10.35111/17gk-bn40. ISBN 1-58563-019-5. Процитовано 27 грудня 2023.
  175. ↑ Robinson, Tony (30 вересня 1991). Several Improvements to a Recurrent Error Propagation Network Phone Recognition System. Cambridge University Engineering Department Technical Report (англ.). CUED/F-INFENG/TR82. doi:10.13140/RG.2.2.15418.90567.
  176. ↑ Abdel-Hamid, O. та ін. (2014). Convolutional Neural Networks for Speech Recognition. IEEE/ACM Transactions on Audio, Speech, and Language Processing (англ.). 22 (10): 1533—1545. doi:10.1109/taslp.2014.2339736. S2CID 206602362. Архів оригіналу за 22 вересня 2020. Процитовано 20 квітня 2018.
  177. ↑ Deng, L.; Platt, J. (2014). Ensemble Deep Learning for Speech Recognition. Proc. Interspeech (англ.): 1915—1919. doi:10.21437/Interspeech.2014-433. S2CID 15641618.
  178. ↑ Tóth, Laszló (2015). Phone Recognition with Hierarchical Convolutional Deep Maxout Networks (PDF). EURASIP Journal on Audio, Speech, and Music Processing (англ.). 2015. doi:10.1186/s13636-015-0068-3. S2CID 217950236. Архів (PDF) оригіналу за 24 вересня 2020. Процитовано 1 квітня 2019.
  179. ↑ McMillan, Robert (17 грудня 2014). How Skype Used AI to Build Its Amazing New Language Translator | WIRED. Wired (англ.). Архів оригіналу за 8 червня 2017. Процитовано 14 червня 2017.
  180. ↑ Hannun, Awni; Case, Carl; Casper, Jared; Catanzaro, Bryan; Diamos, Greg; Elsen, Erich; Prenger, Ryan; Satheesh, Sanjeev; Sengupta, Shubho; Coates, Adam; Ng, Andrew Y (2014). Deep Speech: Scaling up end-to-end speech recognition (англ.). arXiv:1412.5567 [cs.CL].
  181. ↑ MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges. yann.lecun.com (англ.). Архів оригіналу за 13 січня 2014. Процитовано 28 січня 2014.
  182. ↑ Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (August 2012). Multi-column deep neural network for traffic sign classification. Neural Networks. Selected Papers from IJCNN 2011 (англ.). 32: 333—338. CiteSeerX 10.1.1.226.8219. doi:10.1016/j.neunet.2012.02.023. PMID 22386783.
  183. ↑ Chaochao Lu; Xiaoou Tang (2014). Surpassing Human Level Face Recognition (англ.). arXiv:1404.3840 [cs.CV].
  184. ↑ Nvidia Demos a Car Computer Trained with "Deep Learning" (6 January 2015), David Talbot, MIT Technology Review (англ.)
  185. ↑ а б в G. W. Smith; Frederic Fol Leymarie (10 квітня 2017). The Machine as Artist: An Introduction. Arts (англ.). 6 (4): 5. doi:10.3390/arts6020005.
  186. ↑ а б в Blaise Agüera y Arcas (29 вересня 2017). Art in the Age of Machine Intelligence. Arts (англ.). 6 (4): 18. doi:10.3390/arts6040018.
  187. ↑ Goldberg, Yoav; Levy, Omar (2014). word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method (англ.). arXiv:1402.3722 [cs.CL].
  188. ↑ а б Socher, Richard; Manning, Christopher. Deep Learning for NLP (PDF) (англ.). Архів (PDF) оригіналу за 6 липня 2014. Процитовано 26 жовтня 2014.
  189. ↑ Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). Parsing With Compositional Vector Grammars (PDF). Proceedings of the ACL 2013 Conference (англ.). Архів (PDF) оригіналу за 27 листопада 2014. Процитовано 3 вересня 2014.
  190. ↑ Socher, R.; Perelygin, A.; Wu, J.; Chuang, J.; Manning, C.D.; Ng, A.; Potts, C. (жовтень 2013). Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank (PDF). Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (англ.). Association for Computational Linguistics. Архів (PDF) оригіналу за 28 грудня 2016. Процитовано 21 грудня 2023.
  191. ↑ Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (1 листопада 2014). A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval. Microsoft Research (англ.). Архів оригіналу за 27 жовтня 2017. Процитовано 14 червня 2017.
  192. ↑ Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (1 жовтня 2013). Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. Microsoft Research (англ.). Архів оригіналу за 27 жовтня 2017. Процитовано 14 червня 2017.
  193. ↑ Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D.; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). Using recurrent neural networks for slot filling in spoken language understanding. IEEE Transactions on Audio, Speech, and Language Processing (англ.). 23 (3): 530—539. doi:10.1109/taslp.2014.2383614. S2CID 1317136.
  194. ↑ а б Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (1 червня 2014). Learning Continuous Phrase Representations for Translation Modeling. Microsoft Research (англ.). Архів оригіналу за 27 жовтня 2017. Процитовано 14 червня 2017.
  195. ↑ Brocardo, Marcelo Luiz; Traore, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). Authorship verification using deep belief network systems. International Journal of Communication Systems (англ.). 30 (12): e3259. doi:10.1002/dac.3259. S2CID 40745740.
  196. ↑ Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). Precision information extraction for rare disease epidemiology at scale. Journal of Translational Medicine (англ.). 21 (1): 157. doi:10.1186/s12967-023-04011-y. PMC 9972634. PMID 36855134.
  197. ↑ Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research. Microsoft Research (англ.). Архів оригіналу за 13 березня 2017. Процитовано 14 червня 2017.
  198. ↑ Turovsky, Barak (15 листопада 2016). Found in translation: More accurate, fluent sentences in Google Translate. The Keyword Google Blog (англ.). Архів оригіналу за 7 квітня 2017. Процитовано 23 березня 2017.
  199. ↑ а б в г Schuster, Mike; Johnson, Melvin; Thorat, Nikhil (22 листопада 2016). Zero-Shot Translation with Google's Multilingual Neural Machine Translation System. Google Research Blog (англ.). Архів оригіналу за 10 липня 2017. Процитовано 23 березня 2017.
  200. ↑ Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin; Macherey, Klaus; Klingner, Jeff; Shah, Apurva; Johnson, Melvin; Liu, Xiaobing; Kaiser, Łukasz; Gouws, Stephan; Kato, Yoshikiyo; Kudo, Taku; Kazawa, Hideto; Stevens, Keith; Kurian, George; Patil, Nishant; Wang, Wei; Young, Cliff; Smith, Jason; Riesa, Jason; Rudnick, Alex; Vinyals, Oriol; Corrado, Greg та ін. (2016). Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (англ.). arXiv:1609.08144 [cs.CL].
  201. ↑ Metz, Cade (27 вересня 2016). An Infusion of AI Makes Google Translate More Powerful Than Ever. Wired (англ.). Архів оригіналу за 8 листопада 2020. Процитовано 12 жовтня 2017.
  202. ↑ а б Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). MT on and for the Web (PDF) (англ.). Архів оригіналу (PDF) за 29 березня 2017. Процитовано 1 грудня 2016.
  203. ↑ Arrowsmith, J; Miller, P (2013). Trial watch: Phase II and phase III attrition rates 2011-2012. Nature Reviews Drug Discovery (англ.). 12 (8): 569. doi:10.1038/nrd4090. PMID 23903212. S2CID 20246434.
  204. ↑ Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, H. W.; Hochreiter, S (2015). Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project. Drug Discovery Today (англ.). 20 (5): 505—513. doi:10.1016/j.drudis.2014.12.014. hdl:1942/18723. PMID 25582842.
  205. ↑ Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (9 жовтня 2015). AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery (англ.). arXiv:1510.02855 [cs.LG].
  206. ↑ а б Toronto startup has a faster way to discover effective medicines. The Globe and Mail (англ.). Архів оригіналу за 20 жовтня 2015. Процитовано 9 листопада 2015.
  207. ↑ Startup Harnesses Supercomputers to Seek Cures. KQED Future of You (англ.). 27 May 2015. Архів оригіналу за 24 грудня 2015. Процитовано 9 листопада 2015.
  208. ↑ Gilmer, Justin; Schoenholz, Samuel S.; Riley, Patrick F.; Vinyals, Oriol; Dahl, George E. (12 червня 2017). Neural Message Passing for Quantum Chemistry (англ.). arXiv:1704.01212 [cs.LG].
  209. ↑ Zhavoronkov, Alex (2019). Deep learning enables rapid identification of potent DDR1 kinase inhibitors. Nature Biotechnology (англ.). 37 (9): 1038—1040. doi:10.1038/s41587-019-0224-x. PMID 31477924. S2CID 201716327.
  210. ↑ Gregory, Barber. A Molecule Designed By AI Exhibits 'Druglike' Qualities. Wired (англ.). Архів оригіналу за 30 квітня 2020. Процитовано 5 вересня 2019.
  211. ↑ Tkachenko, Yegor (8 квітня 2015). Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space (англ.). arXiv:1504.01840 [cs.LG].
  212. ↑ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013). Burges, C. J. C.; Bottou, L.; Welling, M.; Ghahramani, Z.; Weinberger, K. Q. (ред.). Advances in Neural Information Processing Systems 26 (PDF) (англ.). Curran Associates, Inc. с. 2643—2651. Архів (PDF) оригіналу за 16 травня 2017. Процитовано 14 червня 2017.
  213. ↑ Feng, X.Y.; Zhang, H.; Ren, Y.J.; Shang, P.H.; Zhu, Y.; Liang, Y.C.; Guan, R.C.; Xu, D. (2019). The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study. Journal of Medical Internet Research[en] (англ.). 21 (5): e12957. doi:10.2196/12957. PMC 6555124. PMID 31127715.
  214. ↑ Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (1 травня 2015). A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems. Microsoft Research (англ.). Архів оригіналу за 25 січня 2018. Процитовано 14 червня 2017.
  215. ↑ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (1 січня 2014). Deep autoencoder neural networks for gene ontology annotation predictions. Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics (англ.). ACM. с. 533—540. doi:10.1145/2649387.2649442. hdl:11311/964622. ISBN 9781450328944. S2CID 207217210. Архів оригіналу за 9 травня 2021. Процитовано 23 листопада 2015.
  216. ↑ Sathyanarayana, Aarti (1 січня 2016). Sleep Quality Prediction From Wearable Data Using Deep Learning. JMIR mHealth and uHealth (англ.). 4 (4): e125. doi:10.2196/mhealth.6562. PMC 5116102. PMID 27815231. S2CID 3821594.
  217. ↑ Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (13 серпня 2016). Using recurrent neural network models for early detection of heart failure onset. Journal of the American Medical Informatics Association (англ.). 24 (2): 361—370. doi:10.1093/jamia/ocw112. ISSN 1067-5027. PMC 5391725. PMID 27521897.
  218. ↑ а б Shalev, Y.; Painsky, A.; Ben-Gal, I. (2022). Neural Joint Entropy Estimation (PDF). IEEE Transactions on Neural Networks and Learning Systems (англ.). PP: 1—13. arXiv:2012.11197. doi:10.1109/TNNLS.2022.3204919. PMID 36155469. S2CID 229339809.
  219. ↑ Litjens, Geert; Kooi, Thijs; Bejnordi, Babak Ehteshami; Setio, Arnaud Arindra Adiyoso; Ciompi, Francesco; Ghafoorian, Mohsen; van der Laak, Jeroen A.W.M.; van Ginneken, Bram; Sánchez, Clara I. (December 2017). A survey on deep learning in medical image analysis. Medical Image Analysis (англ.). 42: 60—88. arXiv:1702.05747. Bibcode:2017arXiv170205747L. doi:10.1016/j.media.2017.07.005. PMID 28778026. S2CID 2088679.
  220. ↑ Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (2017). Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy. 2017 IEEE International Conference on Computer Vision Workshops (ICCVW) (англ.). с. 82—89. doi:10.1109/ICCVW.2017.18. ISBN 9781538610343. S2CID 4728736. Архів оригіналу за 9 травня 2021. Процитовано 12 листопада 2019.
  221. ↑ Dong, Xin; Zhou, Yizhao; Wang, Lantian; Peng, Jingfeng; Lou, Yanbo; Fan, Yiqun (2020). Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework. IEEE Access (англ.). 8: 129889—129898. Bibcode:2020IEEEA...8l9889D. doi:10.1109/ACCESS.2020.3006362. ISSN 2169-3536. S2CID 220733699.
  222. ↑ Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (3 квітня 2022). System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network. Cancers (англ.). 14 (7): 1819. doi:10.3390/cancers14071819. ISSN 2072-6694. PMC 8997449. PMID 35406591.
  223. ↑ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). Predicting the popularity of instagram posts for a lifestyle magazine using deep learning. 2017 2nd International Conference on Communication Systems, Computing and IT Applications (CSCITA) (англ.). с. 174—177. doi:10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID 35350962.
  224. ↑ Colorizing and Restoring Old Images with Deep Learning. FloydHub Blog (англ.). 13 листопада 2018. Архів оригіналу за 11 жовтня 2019. Процитовано 11 жовтня 2019.
  225. ↑ Schmidt, Uwe; Roth, Stefan. Shrinkage Fields for Effective Image Restoration (PDF). Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on (англ.). Архів (PDF) оригіналу за 2 січня 2018. Процитовано 1 січня 2018.
  226. ↑ Kleanthous, Christos; Chatzis, Sotirios (2020). Gated Mixture Variational Autoencoders for Value Added Tax audit case selection. Knowledge-Based Systems (англ.). 188: 105048. doi:10.1016/j.knosys.2019.105048. S2CID 204092079.
  227. ↑ Czech, Tomasz (28 червня 2018). Deep learning: the next frontier for money laundering detection. Global Banking and Finance Review (англ.). Архів оригіналу за 16 листопада 2018. Процитовано 15 липня 2018.
  228. ↑ Nuñez, Michael (29 листопада 2023). Google DeepMind's materials AI has already discovered 2.2 million new crystals. VentureBeat (амер.). Процитовано 19 грудня 2023.
  229. ↑ Merchant, Amil; Batzner, Simon; Schoenholz, Samuel S.; Aykol, Muratahan; Cheon, Gowoon; Cubuk, Ekin Dogus (грудень 2023). Scaling deep learning for materials discovery. Nature (англ.). 624 (7990): 80—85. doi:10.1038/s41586-023-06735-9. ISSN 1476-4687. PMC 10700131.
  230. ↑ Peplow, Mark (29 листопада 2023). Google AI and robots join forces to build new materials. Nature (англ.). doi:10.1038/d41586-023-03745-5.
  231. ↑ а б в Army researchers develop new algorithms to train robots. EurekAlert! (англ.). Архів оригіналу за 28 серпня 2018. Процитовано 29 серпня 2018.
  232. ↑ Raissi, M.; Perdikaris, P.; Karniadakis, G. E. (1 лютого 2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics (англ.). 378: 686—707. Bibcode:2019JCoPh.378..686R. doi:10.1016/j.jcp.2018.10.045. ISSN 0021-9991. OSTI 1595805. S2CID 57379996.
  233. ↑ Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (1 березня 2020). Physics-informed neural networks for high-speed flows. Computer Methods in Applied Mechanics and Engineering (англ.). 360: 112789. Bibcode:2020CMAME.360k2789M. doi:10.1016/j.cma.2019.112789. ISSN 0045-7825. S2CID 212755458.
  234. ↑ Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em (28 лютого 2020). Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations. Science (англ.). 367 (6481): 1026—1030. Bibcode:2020Sci...367.1026R. doi:10.1126/science.aaw4741. PMC 7219083. PMID 32001523.
  235. ↑ Oktem, Figen S.; Kar, Oğuzhan Fatih; Bezek, Can Deniz; Kamalabadi, Farzad (2021). High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction. IEEE Transactions on Computational Imaging (англ.). 7: 489—504. arXiv:2008.11625. doi:10.1109/TCI.2021.3075349. ISSN 2333-9403. S2CID 235340737.
  236. ↑ Bernhardt, Melanie; Vishnevskiy, Valery; Rau, Richard; Goksel, Orcun (December 2020). Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control (англ.). 67 (12): 2584—2594. arXiv:2006.14395. doi:10.1109/TUFFC.2020.3010186. ISSN 1525-8955. PMID 32746211. S2CID 220055785.
  237. ↑ Galkin, F.; Mamoshina, P.; Kochetov, K.; Sidorenko, D.; Zhavoronkov, A. (2020). DeepMAge: A Methylation Aging Clock Developed with Deep Learning. Aging and Disease (англ.). doi:10.14336/AD.
  238. ↑ Utgoff, P. E.; Stracuzzi, D. J. (2002). Many-layered learning. Neural Computation (англ.). 14 (10): 2497—2529. doi:10.1162/08997660260293319. PMID 12396572. S2CID 1119517.
  239. ↑ Elman, Jeffrey L. (1998). Rethinking Innateness: A Connectionist Perspective on Development (англ.). MIT Press. ISBN 978-0-262-55030-7.
  240. ↑ Shrager, J.; Johnson, MH (1996). Dynamic plasticity influences the emergence of function in a simple cortical array. Neural Networks (англ.). 9 (7): 1119—1129. doi:10.1016/0893-6080(96)00033-0. PMID 12662587.
  241. ↑ Quartz, SR; Sejnowski, TJ (1997). The neural basis of cognitive development: A constructivist manifesto. Behavioral and Brain Sciences (англ.). 20 (4): 537—556. CiteSeerX 10.1.1.41.7854. doi:10.1017/s0140525x97001581. PMID 10097006. S2CID 5818342.
  242. ↑ S. Blakeslee, "In brain's early growth, timetable may be critical", The New York Times, Science Section, pp. B5–B6, 1995. (англ.)
  243. ↑ Mazzoni, P.; Andersen, R. A.; Jordan, M. I. (15 травня 1991). A more biologically plausible learning rule for neural networks. Proceedings of the National Academy of Sciences (англ.). 88 (10): 4433—4437. Bibcode:1991PNAS...88.4433M. doi:10.1073/pnas.88.10.4433. ISSN 0027-8424. PMC 51674. PMID 1903542.
  244. ↑ O'Reilly, Randall C. (1 липня 1996). Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm. Neural Computation (англ.). 8 (5): 895—938. doi:10.1162/neco.1996.8.5.895. ISSN 0899-7667. S2CID 2376781.
  245. ↑ Testolin, Alberto; Zorzi, Marco (2016). Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions. Frontiers in Computational Neuroscience (англ.). 10: 73. doi:10.3389/fncom.2016.00073. ISSN 1662-5188. PMC 4943066. PMID 27468262. S2CID 9868901.
  246. ↑ Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (September 2017). Letter perception emerges from unsupervised deep learning and recycling of natural image features. Nature Human Behaviour (англ.). 1 (9): 657—664. doi:10.1038/s41562-017-0186-2. ISSN 2397-3374. PMID 31024135. S2CID 24504018.
  247. ↑ Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (3 листопада 2011). Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons. PLOS Computational Biology (англ.). 7 (11): e1002211. Bibcode:2011PLSCB...7E2211B. doi:10.1371/journal.pcbi.1002211. ISSN 1553-7358. PMC 3207943. PMID 22096452. S2CID 7504633.
  248. ↑ Cash, S.; Yuste, R. (February 1999). Linear summation of excitatory inputs by CA1 pyramidal neurons. Neuron (англ.). 22 (2): 383—394. doi:10.1016/s0896-6273(00)81098-3. ISSN 0896-6273. PMID 10069343. S2CID 14663106.
  249. ↑ Olshausen, B; Field, D (1 серпня 2004). Sparse coding of sensory inputs. Current Opinion in Neurobiology (англ.). 14 (4): 481—487. doi:10.1016/j.conb.2004.07.007. ISSN 0959-4388. PMID 15321069. S2CID 16560320.
  250. ↑ Yamins, Daniel L K; DiCarlo, James J (March 2016). Using goal-driven deep learning models to understand sensory cortex. Nature Neuroscience (англ.). 19 (3): 356—365. doi:10.1038/nn.4244. ISSN 1546-1726. PMID 26906502. S2CID 16970545.
  251. ↑ Zorzi, Marco; Testolin, Alberto (19 лютого 2018). An emergentist perspective on the origin of number sense. Phil. Trans. R. Soc. B (англ.). 373 (1740): 20170043. doi:10.1098/rstb.2017.0043. ISSN 0962-8436. PMC 5784047. PMID 29292348. S2CID 39281431.
  252. ↑ Güçlü, Umut; van Gerven, Marcel A. J. (8 липня 2015). Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream. Journal of Neuroscience (англ.). 35 (27): 10005—10014. arXiv:1411.6422. doi:10.1523/jneurosci.5023-14.2015. PMC 6605414. PMID 26157000.
  253. ↑ Metz, C. (12 грудня 2013). Facebook's 'Deep Learning' Guru Reveals the Future of AI. Wired (англ.). Архів оригіналу за 28 березня 2014. Процитовано 26 серпня 2017.
  254. ↑ Gibney, Elizabeth (2016). Google AI algorithm masters ancient game of Go. Nature (англ.). 529 (7587): 445—446. Bibcode:2016Natur.529..445G. doi:10.1038/529445a. PMID 26819021. S2CID 4460235.
  255. ↑ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda; Lanctot, Marc; Dieleman, Sander; Grewe, Dominik; Nham, John; Kalchbrenner, Nal; Sutskever, Ilya; Lillicrap, Timothy; Leach, Madeleine; Kavukcuoglu, Koray; Graepel, Thore; Hassabis, Demis (28 січня 2016). Mastering the game of Go with deep neural networks and tree search. Nature (англ.). 529 (7587): 484—489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 0028-0836. PMID 26819042. S2CID 515925.публікація із закритим доступом — за платною стіною
  256. ↑ A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go | MIT Technology Review. MIT Technology Review (англ.). Архів оригіналу за 1 лютого 2016. Процитовано 30 січня 2016.
  257. ↑ Metz, Cade (6 листопада 2017). A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-Up. The New York Times (англ.). Архів оригіналу за 7 липня 2019. Процитовано 5 липня 2019.
  258. ↑ Bradley Knox, W.; Stone, Peter (2008). TAMER: Training an Agent Manually via Evaluative Reinforcement. 2008 7th IEEE International Conference on Development and Learning (англ.). с. 292—297. doi:10.1109/devlrn.2008.4640845. ISBN 978-1-4244-2661-4. S2CID 5613334.
  259. ↑ Talk to the Algorithms: AI Becomes a Faster Learner. governmentciomedia.com (англ.). 16 травня 2018. Архів оригіналу за 28 серпня 2018. Процитовано 29 серпня 2018.
  260. ↑ Marcus, Gary (14 січня 2018). In defense of skepticism about deep learning. Gary Marcus (англ.). Архів оригіналу за 12 жовтня 2018. Процитовано 11 жовтня 2018.
  261. ↑ Knight, Will (14 March 2017). DARPA is funding projects that will try to open up AI's black boxes. MIT Technology Review (англ.). Архів оригіналу за 4 November 2019. Процитовано 2 November 2017.
  262. ↑ Marcus, Gary (25 листопада 2012). Is "Deep Learning" a Revolution in Artificial Intelligence?. The New Yorker (англ.). Архів оригіналу за 27 листопада 2009. Процитовано 14 червня 2017.
  263. ↑ Alexander Mordvintsev; Christopher Olah; Mike Tyka (17 червня 2015). Inceptionism: Going Deeper into Neural Networks (англ.). Google Research Blog. Архів оригіналу за 3 липня 2015. Процитовано 20 червня 2015.
  264. ↑ Alex Hern (18 червня 2015). Yes, androids do dream of electric sheep. The Guardian (англ.). Архів оригіналу за 19 червня 2015. Процитовано 20 червня 2015.
  265. ↑ а б в Goertzel, Ben (2015). Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms? (PDF) (англ.). Архів (PDF) оригіналу за 13 травня 2015. Процитовано 10 травня 2015.
  266. ↑ Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images (англ.). arXiv:1412.1897 [cs.CV].
  267. ↑ Szegedy, Christian; Zaremba, Wojciech; Sutskever, Ilya; Bruna, Joan; Erhan, Dumitru; Goodfellow, Ian; Fergus, Rob (2013). Intriguing properties of neural networks (англ.). arXiv:1312.6199 [cs.CV].
  268. ↑ Zhu, S.C.; Mumford, D. (2006). A stochastic grammar of images. Found. Trends Comput. Graph. Vis. (англ.). 2 (4): 259—362. CiteSeerX 10.1.1.681.2190. doi:10.1561/0600000018.
  269. ↑ Miller, G. A., and N. Chomsky. "Pattern conception". Paper for Conference on pattern detection, University of Michigan. 1957. (англ.)
  270. ↑ Eisner, Jason. Deep Learning of Recursive Structure: Grammar Induction (англ.). Архів оригіналу за 30 грудня 2017. Процитовано 10 травня 2015.
  271. ↑ Hackers Have Already Started to Weaponize Artificial Intelligence. Gizmodo (англ.). 11 вересня 2017. Архів оригіналу за 11 жовтня 2019. Процитовано 11 жовтня 2019.
  272. ↑ How hackers can force AI to make dumb mistakes. The Daily Dot (англ.). 18 червня 2018. Архів оригіналу за 11 жовтня 2019. Процитовано 11 жовтня 2019.
  273. ↑ а б в г д AI Is Easy to Fool—Why That Needs to Change. Singularity Hub (англ.). 10 жовтня 2017. Архів оригіналу за 11 жовтня 2017. Процитовано 11 жовтня 2017.
  274. ↑ Gibney, Elizabeth (2017). The scientist who spots fake videos. Nature (англ.). doi:10.1038/nature.2017.22784. Архів оригіналу за 10 жовтня 2017. Процитовано 11 жовтня 2017.
  275. ↑ Tubaro, Paola (2020). Whose intelligence is artificial intelligence?. Global Dialogue (англ.): 38—39.
  276. ↑ а б в г Mühlhoff, Rainer (6 листопада 2019). Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning. New Media & Society (англ.). 22 (10): 1868—1884. doi:10.1177/1461444819885334. ISSN 1461-4448. S2CID 209363848.
  277. ↑ Facebook Can Now Find Your Face, Even When It's Not Tagged. Wired (англ.). ISSN 1059-1028. Архів оригіналу за 10 серпня 2019. Процитовано 22 листопада 2019.

Література

Додаткова література

Книги

  • Ye, Jong Chul (2022). Geometry of deep learning: a signal processing perspective. Mathematics in industry (англ.). Singapore: Springer Nature. ISBN 978-981-16-6046-7.
  • Calin, Ovidiu L. (2020). Deep learning architectures: a mathematical approach. Springer series in the data sciences (англ.). Cham, Switzerland: Springer. ISBN 978-3-030-36721-3.
  • Kelleher, John D. (2019). Deep learning. The MIT press essential knowledge series (англ.). Cambridge, Massachusetts London: MIT Press. ISBN 978-0-262-53755-1.

Статті