Model deep learning

Modele deep learning różnią się od klasycznego uczenia maszynowego głębokością. Podczas gdy płytkie modele, takie jak drzewa decyzyjne czy maszyny wektorów nośnych, pracują na ręcznie skonstruowanych cechach, głębokie sieci uczą się reprezentacji hierarchicznych. Pierwsza warstwa rozpoznaje proste krawędzie na obrazach, druga łączy je w kształty, trzecia w części obiektów. Ta kaskada abstrakcji sprawia, że deep learning jest tak skuteczny, a zarazem tak zachłanny na dane. Nie ma jednolitej definicji tego, od kiedy sieć uznaje się za głęboką. Zwykle odróżnia się ją od płytkich sieci neuronowych z tylko jedną warstwą ukrytą, ale sztywnej liczby warstw, która wyznaczałaby granicę, nie ma.

W codziennej pracy B2B spotkasz modele deep learning w trzech scenariuszach. Po pierwsze jako usługę działającą jak czarna skrzynka: korzystasz z dużego modelu językowego dostawcy przez API, nie znając jego architektury. Po drugie jako wstępnie wytrenowany model, który dopasowujesz do swoich danych za pomocą fine-tuningu, na przykład klasyfikator obrazów do zdjęć produktowych albo model analizy sentymentu dla opinii klientów w języku niemieckim. Po trzecie jako model trenowany samodzielnie, jeśli masz wystarczająco dużo danych, mocy obliczeniowej i wiedzy eksperckiej. Większość firm w regionie DACH (Niemcy, Austria, Szwajcaria) poprzestaje na scenariuszu pierwszym lub drugim, ponieważ trenowanie dużego modelu od zera wymaga mocy obliczeniowej, ilości danych i specjalistycznej wiedzy, które rzadko są dostępne wewnątrz firmy.

Ograniczenia dotyczą ilości danych, interpretowalności i odporności. Model deep learning potrzebuje od tysięcy do milionów przykładów, aby niezawodnie generalizować. Przy kilkuset punktach danych klasyczne uczenie maszynowe często wypada lepiej. Charakter czarnej skrzynki utrudnia analizę błędów: dlaczego model uznał ten lead za wartościowy? Które cechy były decydujące? Techniki takie jak wizualizacja mechanizmu uwagi pomagają, ale nie dają prawdziwej przyczynowości. Do tego modele deep learning są podatne na ataki adwersarialne, czyli drobne, celowe zakłócenia danych wejściowych, które prowadzą do całkowicie błędnych przewidywań.

Przy wyborze architektura liczy się bardziej niż liczba parametrów. Konwolucyjne sieci neuronowe do obrazów, transformery do tekstu, sieci rekurencyjne do szeregów czasowych: każda architektura ma swoje mocne strony. Wstępnie wytrenowany model oszczędza czas i pieniądze, ale musisz sprawdzić, czy jego dane treningowe pasują do Twojego przypadku użycia. Model trenowany głównie na tekstach angielskich traci dokładność przy niemieckich terminach fachowych. Drugim wąskim gardłem jest infrastruktura: inferencja na CPU jest wolna, a instancje GPU kosztują. Do zastosowań w czasie rzeczywistym potrzebujesz albo mniejszych modeli, albo dedykowanego sprzętu. Trzecia kwestia to monitoring: modele deep learning dryfują, gdy zmienia się rozkład danych. To, co działało w styczniu, w lipcu może zawieść, jeśli zachowania klientów się zmieniły.