Почему всё упирается в видеопамять, а не в мощность чипа
Нейросеть во время работы должна целиком лежать в памяти видеокарты — весь набор параметров плюс промежуточные вычисления. Если она не помещается, драйвер начинает выгружать часть слоёв в оперативную память или на диск, и скорость падает в несколько раз. Это называют офлоадом, и именно он — главная причина, почему две видеокарты с похожей вычислительной мощностью, но разным объёмом памяти, ведут себя совершенно по-разному на одной и той же модели.
Терафлопсы решают, насколько быстро карта считает то, что уже загружено. Но если модель вообще не влезла, высокая производительность чипа просто не используется — узким местом становится скорость передачи данных между VRAM, оперативной памятью и диском, а она на порядок ниже. Поэтому при выборе железа для ИИ-задач объём памяти важнее частоты ядра почти всегда, и это заметно отличает подбор конфигурации для нейросетей от обычного игрового ПК.
Сколько весит модель: параметры, квантование и запас под контекст
Размер модели в памяти считается просто: количество параметров умножаем на вес одного параметра в выбранном квантовании. Модель на 7 миллиардов параметров в полной точности (16 бит) займёт около 14 ГБ. Но локально почти никто не гоняет модели в полной точности — используют квантование, которое урезает точность весов и сильно сокращает объём.
- Q8 — минимальные потери качества, модель весит примерно столько же, сколько параметров в миллиардах, умноженных на один байт.
- Q5 — компромиссный вариант, заметной просадки качества почти нет, а памяти нужно примерно на треть меньше, чем в Q8.
- Q4 — самый популярный вариант для домашних карт: модель занимает примерно половину от полной точности, качество ответов чуть грубее, но для большинства задач разница не критична.
К весу самой модели нужно прибавить память под контекст — тот объём текста, который модель держит «в голове» при разговоре. Длинный контекст в 32–64 тысячи токенов у крупных моделей может добавить ещё несколько гигабайт сверху. Это та часть расчёта, про которую новички обычно забывают, а потом удивляются, почему модель, которая вроде бы должна была влезть, выгружается в оперативку.
Таблица: 8, 12, 16, 24 и 32 ГБ — что реально идёт
Ниже — ориентир по классам видеопамяти. Скорость указана не в конкретных цифрах, а в сравнительных категориях: это порядок величины, а не гарантированный результат, он зависит от модели карты, драйверов и загрузки конкретной сборки.
| VRAM | LLM-чат | Генерация изображений | Комментарий по скорости |
|---|---|---|---|
| 8 ГБ | 7B–8B в Q4 | SDXL с офлоадом, FLUX почти не тянет | Рабочий минимум, контекст придётся держать коротким |
| 12 ГБ | 13B–14B в Q4, 7B в Q8 | SDXL комфортно | Заметно свободнее, чем 8 ГБ, офлоад почти не нужен |
| 16 ГБ | 14B в Q8 или 32B в Q4 | SDXL без ограничений, FLUX schnell с частичным офлоадом | Золотая середина для дома на сегодня |
| 24 ГБ | 32B в Q5–Q8 с длинным контекстом | FLUX dev полностью в памяти | Запас под апдейты моделей на год-два вперёд |
| 32 ГБ | 32B с большим контекстом, 70B в сильном квантовании со скрипом | FLUX dev плюс видео-генерация | Уже выходит за рамки «просто чат» |
Если нужен более общий разбор того, какая конфигурация в целом подходит под ИИ-задачи — процессор, память, накопитель, — это отдельная тема, она разобрана в статье про сборку ПК для нейросетей. Здесь фокус только на видеопамяти.
Генерация картинок: SDXL, FLUX и что важнее для шага
SDXL — модель полегче, она чувствует себя нормально уже на 8–12 ГБ, хотя с запасом памяти генерация идёт стабильнее и позволяет работать с бóльшим разрешением без промежуточного апскейла. FLUX — модель заметно тяжелее по архитектуре, и её полноценная версия (dev) комфортно работает от 16 ГБ, а с запасом — от 24 ГБ. Облегчённая версия (schnell) более щадящая к памяти, но и по качеству уступает.
Для генерации изображений важнее не общий объём VRAM сам по себе, а то, помещается ли вся модель целиком без офлоада на каждый шаг. Если сеть выгружается в оперативку между шагами денойзинга, время на одно изображение растёт не линейно, а скачком — иногда в несколько раз. Поэтому для картиночных моделей порог «влезло / не влезло» ощущается ещё резче, чем для текстовых.
Локальный чат: 7B, 14B, 32B и почему 70B дома почти не встречается
Модели на 7–8B параметров — это быстрые помощники для простых задач: короткие ответы, суммаризация, базовый код. Их держат на картах с 8–12 ГБ без особых проблем. Модели 14B уже заметно умнее в рассуждениях и держат контекст лучше, но требуют 12–16 ГБ в зависимости от квантования.
32B — заметный скачок по качеству, особенно в коде и логике, но для комфортной работы нужны 24 ГБ, если хочется длинный контекст и Q5/Q8 без компромиссов. На 16 ГБ 32B тоже заводится, но в Q4 и с урезанным контекстом.
70B дома — редкость не потому, что модель невозможно запустить, а потому, что даже в сильном квантовании (Q2–Q3) она требует 32+ ГБ, а с нормальным контекстом — заметно больше одной карты. Качество при таком агрессивном квантовании часто проседает настолько, что разница с 32B в Q8 становится несущественной. На практике для большинства домашних задач 32B — разумный потолок, а не 70B.
Что брать: от 5060 Ti 16 ГБ до 5090 32 ГБ
Если задача — чат-модели до 14B и SDXL без изысков, видеокарта уровня RTX 5060 Ti с 16 ГБ закрывает вопрос с запасом на пару лет вперёд. Это разумный вход в локальный ИИ без переплаты за вычислительную мощность, которая всё равно упрётся в тот же объём памяти.
RTX 5070 Ti с теми же 16 ГБ даёт более высокую скорость счёта на той же памяти — разница ощущается на генерации изображений и на длинных диалогах, где важна скорость ответа, а не только факт, что модель поместилась. RTX 5080, тоже с 16 ГБ, — логичный шаг, если хочется запаса по производительности в играх и рендере, а не только в ИИ-задачах.
RTX 5090 с 32 ГБ — выбор для тех, кто реально работает с 32B моделями на полную, экспериментирует с FLUX dev в высоком разрешении или держит несколько сервисов одновременно: чат, генерацию изображений, векторную базу. Для разовых экспериментов с чат-ботами это избыточно дорого — разницу в цене проще отбить через аренду облачных мощностей на редкие тяжёлые задачи.
Если ИИ-нагрузка — часть более широкого сценария, рядом с рендером и монтажом, стоит смотреть не на игровую сборку, а на рабочие станции, где и память, и охлаждение рассчитаны на долгую нагрузку без троттлинга. Если же основная задача — игры, а ИИ сбоку, достаточно подобрать подходящую видеокарту в каталоге игровых ПК и проверить конфигурацию через подборщик — там видно, под какие объёмы VRAM какая сборка балансируется.
Когда нужна вторая карта и когда дешевле арендовать облако
Вторая видеокарта имеет смысл, если одна модель физически не помещается даже на топовой карте с 32 ГБ — например, при работе с 70B без агрессивного квантования. Распределение модели между двумя картами технически возможно, но требует настройки и теряет часть скорости на передаче данных между ними. Это решение для энтузиастов и профессиональных задач, а не для повседневного использования.
Для разовых тяжёлых запусков — генерация большого батча изображений в FLUX, дообучение модели, тестирование 70B — часто дешевле арендовать облачный сервер на несколько часов, чем покупать вторую карту ради редких задач. Домашняя сборка в этом случае остаётся рабочей лошадкой для ежедневных задач, а пиковые нагрузки уходят в облако. Если не уверены, какая конфигурация под вашу нагрузку выгоднее по деньгам в долгую — локальная карта или аренда, — проще один раз проконсультироваться через сервис подбора конфигурации, чем переплатить за железо, которое использует памяти вдвое меньше возможного.
Частые вопросы
Хватит ли 8 ГБ, чтобы вообще попробовать локальный ИИ? Да, для знакомства с темой и небольших моделей до 8B этого достаточно. Но это потолок, а не запас на будущее — следующее поколение моделей потребует больше памяти почти наверняка.
Можно ли компенсировать нехватку VRAM оперативной памятью? Частично. Офлоад работает, но скорость падает заметно, иногда в несколько раз — это subъективно ощущается как «модель стала тупить», хотя дело именно в передаче данных между памятью.
Нужна ли профессиональная карта с большим объёмом памяти вместо игровой? Для дома — почти никогда. Игровые карты с 16–32 ГБ закрывают весь разумный диапазон задач за куда меньшие деньги, профессиональные линейки нужны там, где счёт идёт на десятки и сотни гигабайт.
Квантование сильно портит качество ответов? В Q5–Q8 разница с полной точностью почти не заметна на глаз. В Q4 — заметнее, особенно в сложных логических задачах, но для чата и большинства повседневных сценариев вполне годится.
Коротко
- В локальном ИИ узкое место почти всегда — объём видеопамяти, а не мощность чипа.
- 16 ГБ VRAM закрывает большинство бытовых сценариев: чат до 32B в Q4, SDXL без ограничений, FLUX schnell с офлоадом.
- 24 и 32 ГБ нужны тем, кто работает с FLUX dev в высоком разрешении или хочет 32B с длинным контекстом без урезаний.
- 70B дома — редкость: даже в сильном квантовании требует 32+ ГБ, а качество при таком сжатии часто не оправдывает усилий.
- Для разовых тяжёлых задач дешевле арендовать облако, чем покупать вторую карту ради редких запусков.