GPT-4o API vs Anthropic Claude – koszty przy 500k tokenów dziennie
584 wyświetleń
2 odpowiedzi
M
Buduję narzędzie do analizy umów B2B i szacuję około 500 tysięcy tokenów dziennie. Zrobiłem kalkulację i przy obecnych cenach Claude 3.5 Sonnet wychodzi mi taniej o jakieś 30% niż GPT-4o, ale nie wiem czy to dobry benchmark. Ktoś ma doświadczenie z którymś z tych modeli przy długich dokumentach prawniczych? Chodzi mi głównie o dokładność wyciągania konkretnych klauzul.
P
Testowałem oba modele przy podobnym use case – analiza umów najmu i umów SaaS. Claude 3.5 Sonnet radzi sobie lepiej z długimi dokumentami (powyżej 20 stron), rzadziej 'gubi' klauzule zakopane głęboko w treści. GPT-4o jest szybszy przy krótszych dokumentach, ale przy prawniczym żargonie i skomplikowanej strukturze zagnieżdżonych paragrafów Claude wypadał bardziej wiarygodnie w moich testach. Twoja kalkulacja kosztowa ma sens, ale polecam zrobić benchmark na własnych danych – wyślij te same 20-30 umów do obu modeli z tym samym promptem i porównaj recall na wyciąganiu konkretnych klauzul.
K
Czy w tych 500k tokenach masz już policzone tokeny wejściowe i wyjściowe osobno? Bo przy długich dokumentach prawniczych stosunek input/output mocno wpływa na końcowy rachunek – jeśli generujesz rozbudowane podsumowania klauzul, koszty outputu mogą znacząco zmienić tę 30% różnicę na korzyść GPT-4o albo odwrotnie.
Zaloguj się, aby brać udział w dyskusji.