RAG na własnych dokumentach firmowych – od czego zacząć?

Przeszedłem przez dokładnie ten sam scenariusz rok temu – zaczęliśmy od LlamaIndex i nie żałujemy. Dla jednego deva bez doświadczenia w ML to lepszy wybór niż LangChain, bo ma sensowniejsze abstrakcje do pracy z dokumentami i mniej boilerplate'u. Do embeddingów polskiego tekstu użyj text-embedding-3-small od OpenAI albo multilingual-e5-large jeśli chcesz mieć coś lokalnie – różnica w jakości retrieval dla polszczyzny jest zauważalna, szczególnie przy specjalistycznym słownictwie proceduralnym. Jako vector store na start Chroma lokalnie, docelowo Qdrant jeśli będziecie skalować.

Zanim wybierzesz stack – mam pytanie o te dokumenty: czy procedury są dobrze ustrukturyzowane i mają spójny format, czy to 800 różnych stylów i skanów? To jest kluczowe, bo przy słabej jakości PDFów sam RAG nic nie pomoże i 80% roboty będzie w pre-processingu, a nie w wyborze między LangChain a LlamaIndex.

Szczerze, zamiast budować to od zera zastanów się nad gotowymi rozwiązaniami jak Dify albo Flowise – mają GUI, obsługują PDF/Word natywnie i twój fullstack dev postawi to w dzień roboczy zamiast w miesiąc. Własny stack ma sens jak masz specyficzne wymagania dotyczące bezpieczeństwa danych albo potrzebujesz głębokiej integracji z systemami wewnętrznymi.

Język dokumentów robi różnicę, ale mniejszą niż myślisz jeśli używasz modeli multilingual. Większy problem będzie z chunkowaniem – standardowe podejście cięcia po 512 tokenach rozrywa procedury w losowych miejscach, co mocno degraduje jakość odpowiedzi. Warto zainwestować czas w chunk strategy opartą o strukturę dokumentu (nagłówki, sekcje) zanim w ogóle ruszysz z doborem embeddera.