Tencent запустила квантизовану модель Hy3 із 295 мільярдами параметрів, яку можна розгорнути на одному GPU

TENCENT-0,30%
Нещодавно Tencent Hunyuan випустила квантизовані версії своєї моделі Hy3 у відповідь на запити спільноти, що дозволяє моделі на 295 мільярдів параметрів працювати на одному GPU для інференсу або навіть на локальних машинах за наявності достатнього обсягу пам’яті. Команда квантизувала ваги Hy3 до точності 1-біт і 4-біт, упакувала їх у форматі GGUF та інтегрувала в екосистему llama.cpp, завдяки чому те, що раніше потребувало багатьох GPU-кластерів, тепер доступне для ширшого спектра сценаріїв розгортання.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів