Seminarium licencjackie SI 1 - Sztuczne Sieci Neuronowe WF-FI-KGN-SLPE1

Seminarium dyplomowe /metody dydaktyczne: werbalno-wizualna prezentacja treści programowych w postaci prezentacji w PowerPoint i pokaz działania sieci.

1. Zapoznanie z tematem przedmiotu: Sieci neuronowe a Kognitywistyka; Oczy maszyny; Neokognitron; Zakład w Berkeley;

2. Wprowadzenie do sieci neuronowych: popularność sieci neuronowych, efektywność sieci neuronowych jako nieliniowych modeli zjawisk i procesów, uboczne aspekty popularności sieci neuronowych; Biologiczne inspiracje neurokomputingu; Podstawowy model neuronu i sieci neuronowej; Działanie sieci neuronowej i jej uczenie;

3. Metody przetwarzanie danych: pozyskiwanie danych pierwotnych, filtracja, przetwarzanie obrazów dwuwymiarowych, przetwarzanie szeregów czasowych, ekstrakcja cech z obrazów dwuwymiarowych, ekstrakcja cech z szeregów czasowych; Formatowanie zbiorów obrazów: tworzenie i kodowanie obrazów opisujących obiekty, formatowanie tabelarycznych zbiorów obrazów, klasteryzacja; Przetwarzanie zbiorów danych treningowych;

4. Metoda wstecznej propagacji błędów i jej modyfikacje: algorytm ze współczynnikiem wzrostu błędu, algorytm Parka, Yuna i Kima, algorytm Lee i Parka, algorytm Chana i Falsidea, algorytm delta-delta Jacobsa, alorytm Silvy i Almeidy, algorytm Sanossiana i Evansa, algorytm delta-bar-delta Jacobsa, algorytm Quickprop Fahlmana, algorytm RPROP Ridmillera i Brauna, algorytm Karayiannisa;

5. Zastosowanie algorytmu Recursive Last Squares (RLS) do uczenia sieci neuronowych: sieć jednowarstwowa, sieć wielowarstwowa;

6. Neuronowe sieci modularne: ogólne założenia; Kombinowanie odpowiedzi dla wielosieciowego klasyfikatora: 1) na poziomie abstrakcji, 2) na poziomie rankingów, 3) na poziomie miar (miary prawdopodobieństw Bayesa); Architektury i uczenie sieci modularnych; Wybrane przykłady zastosowań, np. rozpoznawanie cyfr pisma odręcznego;

7. Samoorganizaujące sieci neuronowe: sieć Kohonena - pojęcie sąsiedztwa i aktywacji neuronów z sąsiedztwa zwycięzcy, problem neuronów martwych; Sieci samoorganizujące z kryterium minimalnej entropii; Algorytm gazu neuronowego;

8. Statyczne i dynamiczne sieci Group Method of Data Handing (GMDH): założenia, model neuronu i synteza sieci; Uogólnienie algorytmu GMDH: układ o wielu wejściach i wielu wyjściach; Układy dynamiczne

9. Ontogeniczne sieci neuronowe: Modele zmniejszające strukturę; Usuwanie wag metodami Optimal Brain Damage (OBD), Optimal Brain Surgeon (OBS); Statystyczne metody zmniejszenia sieci neuronowych; Modele o strukturach rozrastających się; Sieć Resource Allocation Network (RAN) z przedziałem zasobów;

10. Strategie projektowania sieci neuropodobnych: Sparowalne zbiory danych, warstwy neuronów formalnych; Projektowanie warstw rangowych; Projektowanie warstw dipolowych; Perceptonowa funkcja kryterialna; Dipolowa funkcja kryterialna; Algorytmy wymiany rozwiązań bazowych; Projektowanie struktur hierarchicznych;

11. Optymalizacja architektury sieci neuronowych: Dobór architektury sieci neuronowych: Dobór architektury sieci Multilayer Perceptron (MLP); Metody wzrostu: algorytm kafelkowy, algorytm upstart Freana, algorytm wstecznej propagacji ze zmienną liczbą neuronów, dynamiczna kreacja neuronów, metody formy kanonicznej, algorytm kaskadowej korelacji; Metody redukcji; Metody optymalizacji dyskretnej;

12. Przykład tworzenia i działania sieci neuronowej w Excelu;

13. Wprowadzenie do zastosowania sieci neuronowych: aproksymacja funkcji przy pomocy jednokierunkowych sieci neuronowych; Zdolności aproksymacyjne sieci signoidalnych; Sieci o bazach radialnych;

14. Seminarium zaproszone w zakresie sztucznych sieci neuronowych i szeroko rozumianej sztucznej inteligencji;

15. Podsumowanie.

Sylabus opracował: Paweł Pęczkowski