Opis
Deep learning to rodzaj systemu uczącego się, który pozwala komputerom na naukę na podstawie doświadczeń i zrozumienie świata w sennie hierarchii pojęć. Ponieważ komputer gromadzi wiedzę na podstawie doświadczeń, nie potrzebny jest nadzór człowieka w celu określenia całej wiedzy potrzebnej komputerowi. Hierarchia pojęć pozwala komputerowi uczyć się skomplikowanych pojęć rozbudowując je na podstawie prostszych elementów. Graf takich hierarchii będzie miał głębokość wielu warstw. Książka wprowadza szeroki zakres tematów z zakresu deep learning. Spis treści1. Wprowadzenie 1 1.1. Kto powinień przeczytać tę książkę? 9 1.2. Historyczne trendy deep learningu 11 I Podstawy matematyki stosowanej i systemów uczących się 27 2. Algebra liniowa 29 2.1. Skalary, wektory, macierze i tensory 29 2.2. Mnożenie macierzy i wektorów 32 2.3. Macierze jednostkowe i odwrotne 34 2.4. Zależność liniowa i zakres 35 2.5. Normy 37 2.6. Macierze i wektory specjalne 38 2.7. Rozkład na wartości własne 40 2.8. Dekompozycja wartości osobliwej 42 2.9. Uogólniona macierz odwrotna (Moore’a–Penrose’a) 43 2.10. Operator śladowy 44 2.11. Wyznacznik 45 2.12. Przykład: analiza głównych składowych 45 3. Prawdopodobieństwo i teoria informacji 51 3.1. Dlaczego prawdopodobieństwo? 52 3.2. Zmienne losowe 54 3.3. Rozkłady prawdopodobieństwa 54 3.4. Prawdopodobieństwo brzegowe 56 3.5. Prawdopodobieństwo warunkowe 57 3.6. Reguła łańcuchowa w prawdopodobieństwie warunkowym 57 3.7. Niezależność oraz niezależność warunkowa 58 3.8. Wartość oczekiwana, wariancja i kowariancja 58 3.9. Znane rozkłady prawdopodobieństwa 60 3.10. Użyteczne cechy elementarnych funkcji 65 3.11. Prawo Bayesa 68 3.12. Techniczne szczegóły zmiennych ciągłych 68 3.13. Teoria informacji 70 3.14. Strukturalne modele probabilistyczne 73 4. Obliczenia numeryczne 77 4.1. Nadmiar i niedomiar 77 4.2. Złe uwarunkowania 79 4.3. Optymalizacja gradientowa 79 4.4. Optymalizacja z ograniczeniami 89 4.5. Przykład: liniowa metoda najmniejszych kwadratów 92 5. Podstawy systemów uczących się 95 5.1. Algorytmy uczenia się 96 5.2. Pojemność, nadmierne dopasowanie i niedopasowanie 108 5.3. Hiperparametry i zbiory walidacyjne 118 5.4. Estymatory, obciążenie i wariancja 120 5.5. Metoda maksymalnej wiarygodności 129 5.6. Statystyki Bayesa 133 5.7. Algorytmy nadzorowanego uczenia się 138 5.8. Algorytmy nienadzorowanego uczenia się 143 5.9. Metoda gradientu stochastycznego 150 5.10. Tworzenie algorytmu dla systemu uczącego się 152 5.11. Wyzwania motywujące deep learning 153 II Głębokie sieci: nowoczesne praktyki 163 6. Głębokie sieci jednokierunkowe 165 6.1. Przykład: uczenie się funkcji XOR 168 6.2. Uczenie się oparte na gradiencie 173 6.3. Jednostki ukryte 188 6.4. Projekt architektury 195 6.5. Propagacja wsteczna i inne algorytmy rózniczkowania 201 6.6. Uwagi historyczne 221 7. Regularyzacja w deep learningu 225 7.1. Standardowe kary dla parametrów 227 7.2. Standardowe kary jako optymalizacja z ograniczeniami 234 7.3. Regularyzacja i problemy niedoograniczone 236 7.4. Powiększanie zbioru danych 237 7.5. Odporność na szum 239 7.6. Uczenie się częściowo nadzorowane 241 7.7. Uczenie się wielozadaniowe 242 7.8. Wczesne zatrzymanie 243 7.9. Wiązanie i współdzielenie parametrów 250 7.10. Rzadko wypełnione reprezentacje 252 7.11. Bagging i inne metody zespołowe 254 7.12. Odrzucanie 256 7.13. Szkolenie antagonistyczne 266 7.14. Odległość styczna, propagacja stycznej oraz klasyfikator stycznej do rozmaitości 268 8. Optymalizacja w celu szkolenia głębokich modeli 273 8.1. Czym uczenie się różni się od czystej optymalizacji 274 8.2. Wyzwania związane z optymalizacją sieci neuronowej 281 8.3. Podstawowe algorytmy 293 8.4. Strategie nadawania parametrom wartości początkowych 299 8.5. Algorytmy z adaptacyjną szybkością uczenia się 306 8.6. Aproksymacyjne metody drugiego rzędu 310 8.7. Strategie optymalizacji i meta-algorytmy 317 9. Sieci splotowe 331 9.1. Splot jako działanie 332 9.2. Uzasadnienie 334 9.3. Redukcja 340 9.4. Splot i redukcja jako nieskończenie silny rozkład aprioryczny 346 9.5. Warianty podstawowej funkcji splotowej 347 9.6. Strukturalne wyjścia 358 9.7. Typy danych 359 9.8. Efektywne algorytmy splotu 361 9.9. Cechy losowe lub nienadzorowane 362 9.10. Neuronaukowe podstawy sieci splotowych 364 9.11. Sieci splotowe a historia deep learningu 371 10. Modelowanie sekwencyjne: sieci rekurencyjne i rekursywne 373 10.1. Rozwijanie grafów obliczeniowych 375 10.2. Rekurencyjne sieci neuronowe 378 10.3. Dwukierunkowe rekurencyjne sieci neuronowe 393 10.4. Architektury koder-dekoder i sekwencja do sekwencji 394 10.5. Głębokie sieci rekurencyjne 397 10.6. Rekursywne sieci neuronowe 399 10.7. Problem z zależnościami długoterminowymi 400 10.8. Sieci stanu echa 403 10.9. Nieszczelne jednostki i inne strategie dla wielu skali czasowych 406 10.10. Długa pamięć krótkoterminowa i inne bramkowane sieci RNN 408 10.11. Optymalizacja zależności długoterminowych 412 10.12. Pamięć jawna 416 11. Metodologia praktyczna 421 11.1. Metr