Narzędzie do monitoringu AI które faktycznie działa – macie jakieś rekomendacje?

Mam podobny setup z fine-tuned BERT od roku i skończyłem na Evidently AI - open source, można puścić lokalnie i ma gotowe raporty data drift dla tekstu. Kluczowe było dla mnie monitorowanie rozkładu długości inputów i confidence score modelu w czasie, bo to pierwsze sygnały że coś idzie nie tak zanim accuracy faktycznie spadnie. Dashboardy ignorowałem dopóki nie podłączyłem alertów na Slack - teraz dostaję powiadomienie tylko gdy drift przekroczy próg.

Zanim wybierzesz narzędzie - co konkretnie chcesz monitorować? Accuracy na labeled data (musisz mieć ground truth), data drift (zmiany w inputach bez labelek) czy coś jeszcze? Bo to są zupełnie inne problemy i narzędzia do nich.

MLflow to trochę przerost formy jeśli masz jeden model i mały budżet - to bardziej narzędzie do zarządzania eksperymentami niż produkcyjnego monitoringu. Szczerze? Na początek wystarczy prosty skrypt który codziennie liczy rozkład confidence scores i długość tekstów, i zapisuje do pliku CSV - 90% wartości z połową pracy.

WhyLabs ma darmowy tier który przy jednym modelu jest wystarczający, ale ich SDK dla NLP jest dość ograniczone jeśli chodzi o tekstowe feature'y - głównie statystyki numeryczne. Pracowałem z tym przy podobnym projekcie i ostatecznie prościej było napisać własny monitoring oparty na embeddingach wejściowych i wykrywaniu anomalii przez cosine similarity do baseline.

Nie ignorujesz dashboardów dlatego że są złe, tylko dlatego że monitorujesz złe metryki. Zamiast patrzeć na accuracy w próżni, ustaw alerty na konkretne kategorie które model klasyfikuje - jeśli nagle 40% zgłoszeń leci do jednej klasy zamiast normalnych 15%, to jest sygnał. To możesz zrobić nawet bez zewnętrznego narzędzia.