Nvidia выпустила инструмент Chat with RTX для создания персонализированного чат-бота с ИИ

Nvidia представила собственную альтернативу популярным чат-ботам на базе искусственного интеллекта — Chat with RTX.

Как нетрудно понять из названия, он задействует вычислительные возможности графических ускорителей Ge.

Force RTX.

Главной особенностью является работа непосредственно на компьютере пользователя вместе с возможностью персонализации большой языковой модели.

В основе Chat with RTX лежат библиотека Nvidia TensorRT-LLM и метод RAG (Retrieval Augmented Generation) для заполнения пробелов в «знаниях» большой языковой модели.

Пользователи могут добавить собственные заметки, документы, видео и другие данные, например, получить ответ на основе информации из You.

«А так как приложение работает локально на ПК или рабочей станции с Windows с RTX, результаты генерируются быстро и безопасно», — подчёркивает Nvidia.

@video=//www

Загрузить Chat with RTX можно с официального сайта Nvidia.

В системных требования упоминаются адаптеры Ge.

Force RTX 30- и 40-й серии, оборудованные как минимум 8-гигабайтным видеобуфером, то есть недавно выпущенная Ge.

Force RTX 3050 6GB не подойдёт.

Также потребуются 16 Гбайт оперативной памяти, операционная система Windows 11 и драйвер версии 535.11 или новее.