Klasyfikacja dźwięku i detekcja zdarzeń z wykorzystaniem uczenia maszynowego - Plan Szkolenia

Podstawy klasyfikacji dźwięku

• Typy zdarzeń dźwiękowych: środowiskowe, mechaniczne, generowane przez człowieka
• Przegląd przypadków użycia: nadzór, monitoring, automatyzacja
• Klasyfikacja dźwięku a detekcja a segmentacja

Dane dźwiękowe i ekstrakcja cech

• Typy plików i formatów audio
• Częstotliwość próbkowania, okienkowanie, rozważania dotyczące rozmiaru ramki
• Ekstrakcja MFCC, cech chroma, mel-spektrogramów

Przygotowanie danych i adnotacja

• Zbiory danych UrbanSound8K, ESC-50 i niestandardowe
• Etykietowanie zdarzeń dźwiękowych i granic czasowych
• Równoważenie zbiorów danych i augmentacja dźwięku

Budowanie modeli klasyfikacji dźwięku

• Wykorzystanie splotowych sieci neuronowych (CNN) do dźwięku
• Wejście modelu: surowy przebieg fali a cechy
• Funkcje straty, metryki oceny i przeuczenie

Detekcja zdarzeń i lokalizacja czasowa

• Strategie detekcji oparte na ramkach i segmentach
• Postprocessing detekcji z użyciem progów i wygładzania
• Wizualizacja przewidywań na osiach czasu dźwięku

Zaawansowane tematy i przetwarzanie w czasie rzeczywistym

• Uczenie transferowe w scenariuszach z małą ilością danych
• Wdrażanie modeli za pomocą TensorFlow Lite lub ONNX
• Przetwarzanie strumieniowego dźwięku i rozważania dotyczące opóźnień

Rozwój projektu i scenariusze zastosowań

• Projektowanie pełnego potoku: od pozyskiwania danych do klasyfikacji
• Opracowanie weryfikacji koncepcji dla nadzoru, kontroli jakości lub monitoringu
• Logowanie, alarmowanie i integracja z pulpitami nawigacyjnymi lub interfejsami API

Podsumowanie i kolejne kroki