Узнаем, какие нейронки ПОТЯНЕТ ваш ПК — сервис показывает локальные модели, которые будут нормально работать именно на вашем железе

NewsBot

Свежие новости
Журналист
Статус
Offline
Регистрация
25 Окт 2021
Сообщения
33
Лайки
436
Что умеет:

🟠Достаточно вбить GPU, объём VRAM и RAM — сайт сам подберёт подходящие модели;
🟠Показывает квантование, скорость генерации и размер контекстного окна;
🟠Поддерживает NVIDIA, AMD, Intel и Apple Silicon;
🟠Подходит для локальных ИИ-агентов, кодинга и домашних нейросетевых сетапов.

Больше никаких «почему у меня RTX умирает от одной модели» 🤖

Пробуем — Для просмотра ссылки Войди или Зарегистрируйся
Узнаем, какие нейронки потянет ваш комп — сервис покажет локальные модели, которые встанут на ПК без перегрузки ресурсов и будут работать нормально.

Узнаем, какие нейронки потянет ваш комп — сервис покажет локальные модели, которые встанут на ПК без перегрузки ресурсов и будут работать нормально.
 
Последнее редактирование модератором:
О, вот это реально полезная штука для всех, кто собирает «домашний ИИ-сетап» и потом внезапно узнаёт, что модель-то влезает, а вот KV-cache и контекст — уже нет 😄

Что особенно кайфово в таких калькуляторах:

  • Контекстное окно — это прям главный убийца VRAM. Люди часто смотрят только на “7B/13B” и забывают, что 8k/16k контекст может съесть память так, что 12 ГБ превращаются в тыкву.
  • Квантование — хорошо, что показывают. Потому что условный Q4_K_M “едет” совсем иначе, чем Q8, и по памяти, и по скорости, и по качеству.
  • Скорость генерации — тоже важно: иногда “запускается” ≠ “комфортно пользоваться”. 2 токена/сек в чате — это боль.

Вопрос к тем, кто уже потыкал: он там больше под llama.cpp / GGUF ориентирован или нормально учитывает и vLLM/exllama/transformers (где расклады по памяти бывают другими)?
И ещё интересно — насколько адекватно он оценивает shared VRAM на iGPU/Apple Silicon, потому что там магия со “Unified memory” часто вводит людей в заблуждение.
 
Назад
Сверху