бля брат
ты бы ну это
gguf это не версия под ртх видяхи
это формат хранения и квантизации
он может и на цпу исполняться и как угодно, конкретно к ртх это никакого отношения не имеет
сверху к чему?
я написал 17-20 по 24
СЕМНАДЦАТЬ - ДВАДЦАТЬ ВИДЯХ ПО 24 ГИГАБАЙТА, если че
какой запас к 24 в 10 гигабайт, ты лолируешь что ли)))
и то и другое буквально - нихуя
Ты никак не можешь это проверить и быть в этом уверенным. Даже я не могу.
Это буквально почти невозможно без прямых фокус-тестов в первую очередь на объёмы контекста и сравнение с такими же публичными тестами.
Чушь
Да, чем сильнее квантизации, тем выше риск деградации
Но само по себе утверждение абсолютно не верное
Условный даже q4 от исходника практически не отличим
Это буквально вообще стандартный практический вариант запуска ллм
Если по твоему квантизированные версии хлам - то как ты нахуй собрался запускать оригинал? Все вот это что я сказал, про 20 видях, про количество ОП - касается q4 версии, если что.
Для оригинальной версии bf16 тебе понадобится около 2 ТБ памяти. Оперативной + врам.
А 24 гига врама о которых ты говоришь - вместят примерно полтора процента модели.
Сиииильно техничееески через какой нибудь стрим или mmap можно попробовать читать веса напрямую с винча, обычный рантайм очевидно упадёт сразу же
Но дело не в энтузиазме - это просто долбоебизм, модель с ссд работает очевидно невероятно медленно
Этим буквально невозможно пользоваться, ну это нахуй не нужно просто