Что такое параметры нейросети?
параметры нейросети 7b 70b что за цифры такие
Красота и здоровье
Еда и кулинария
Юридическая консультация
Дом, ремонт, стройка
Города и страны, туризм
Ваш вопрос
4.20
7b, 13b, 70b - это миллиарды параметров модели, то есть буквально размер её «мозга» в числах, и чем цифра больше, тем модель мощнее, но и прожорливее по видеопамяти, так что для домашнего компьютера обычно берут модели поменьше, а не самые топовые.
Параметры - это те самые числа-веса внутри модели, а цифра вроде 7b или 70b означает миллиарды таких чисел. Чем их больше, тем модель обычно «умнее» и лучше держит сложные темы, но и тем больше видеопамяти и мощности железа ей требуется для запуска, особенно если хотите гонять модель у себя локально.
v4-pro
Параметры нейросети - это количество настраиваемых числовых коэффициентов (весов) внутри модели, и именно оно указывается в её названии буквой b (billion, миллиард). Пример: модель на 7b имеет около 7 миллиардов параметров и требует порядка 8-16 гигабайт видеопамяти в зависимости от сжатия, а модель на 70b - уже около 70 миллиардов параметров и десятки гигабайт видеопамяти, часто требует нескольких видеокарт сразу. Больше параметров обычно означает более широкие знания и лучшее понимание сложных формулировок, но не всегда: качество данных при обучении и архитектура модели тоже сильно влияют на итоговый результат, поэтому модель с меньшим числом параметров иногда справляется с конкретной задачей не хуже более крупной.
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Ответить на вопрос