NVIDIA релизнула ИИ-чат-бота

NVIDIA выпустила предварительную версию нового приложения под названием Chat with RTX. Это приложение позволяет запускать локального чат-бота с генеративным искусственным интеллектом, основанным на большой языковой модели (LLM). Chat with RTX способен анализировать видеоролики и документы пользователя, предоставляя краткую информацию и релевантные ответы. Оно работает на ПК с Windows и видеокартами NVIDIA GeForce RTX 30-й или 40-й серии, имеющими не менее восемью Гб видеопамяти. Кстати, NVIDIA поддерживает крупные киберспортивные ивенты, за которыми следят миллионы людей по всему миру. Расписание ивентов и прогнозы на них можно изучить прямо в телефоне — достаточно загрузить приложение БК с портала Бетонмобайл, где есть множество полезного контента: как установить БК, как использовать фрибет в Лига Ставок, какие стратегии использовать.

Возвращаясь к NVIDIA, то Chat with RTX поддерживает обработку видео с YouTube. Достаточно просто ввести URL-адрес видео, чтобы получить от чат-бота краткое содержание в текстовом формате. Также приложение позволяет осуществлять поиск в тексте видеороликов. Судя по отзывам экспертов, это происходит практически мгновенно. Однако имелись случаи, когда чат-бот выбирал для поиска неправильное видео, что свидетельствует о некоторых недоработках.

Тем временем исследователи отмечают полезность Chat with RTX при работе с PDF-файлами. По их мнению, этот чат-бот справляется с этой задачей лучше, чем Microsoft Copilot, точно извлекая ключевую информацию. Они также заметили, что Chat with RTX работает практически мгновенно, без задержек, характерных для облачных чат-ботов, таких как ChatGPT или Copilot. Благодаря этому чат-боту тестировщики смогли создать соответствующий набор данных по делу «FTC против Microsoft» и обобщить стратегию Microsoft в отношении Xbox Game Pass.

Важно, что при установке Chat with RTX на компьютер пользователя создается веб-сервер и экземпляр языка программирования Python, использующий LLM Mistral или Llama 2. Для ускорения обработки запросов применяются тензорные ядра на графических процессорах NVIDIA RTX. Процесс установки Chat with RTX на компьютер с процессором Intel Core i9-14900K и видеокартой NVIDIA GeForce RTX 4090 занимает около полутора часов. Объем занимаемого приложением места на диске составляет около 40 гигабайт, а интерпретатор Python потребляет около 3 гигабайт оперативной памяти. После запуска приложения пользователь получает доступ к чат-боту через веб-интерфейс, а в командной строке отображается процесс выполнения и сообщения об ошибках.

Тем временем эксперты отмечают, что на данный момент Chat with RTX больше похож на прототип для разработчиков и технических энтузиастов. Существует несколько известных проблем и ограничений. Попытка проиндексировать папку с 25 тысячами документов с использованием Chat with RTX привела к аварийному завершению приложения, требующему сброса всех настроек для восстановления работоспособности. Кроме того, чат-бот создал файлы JSON в каждой проиндексированной папке, что не всегда оправдано. Также Chat with RTX не сохраняет контекст, поэтому новый запрос не может использовать данные из предыдущего.

Тем не менее, Chat with RTX представляет собой отличную техническую демонстрацию возможностей и перспектив локального установленного на компьютере пользователя чат-бота с искусственным интеллектом. Многие предпочитают избегать использования облачных служб искусственного интеллекта, таких как Copilot Pro или ChatGPT Plus, из-за опасений по поводу конфиденциальности своих данных.