正文内容 评论(0

CHAT With RTX初体验 本地部署AI的好帮手
2024-03-01 12:20:41  作者:梦佳 编辑:梦佳     评论(0)点击可以复制本篇文章的标题和链接

2023年,AI风潮席卷全球,所有人都惊叹于CHATGPT的出现,很多人日常的生活与工作,都因AI的普及与出现,得到了众多便捷的工具,无论是AI智能聊天机器人,还是图形、代码上的AI快速生成,都对我们有着一定程度的影响。

CHAT With RTX初体验 本地部署AI的好帮手

而NVIDIA前不久推出的CHAT With RTX,则是一款可以本地部署的专属AI聊天机器人,在你的电脑上就能实现AI功能,通过与大语言模型连接,用检索增强生成 (RAG)、NVIDIA TensorRT-LLM软件及NVIDIA RTX加速技术,即可实现与自己专属的聊天机器人对话。

CHAT With RTX初体验 本地部署AI的好帮手

当然,每个人的CHAT With RTX都是不同的,主要区别与你给AI投放的资料,通过移入自己的文档、笔记、视频或其他数据,CHAT With RTX会通过检索资料内容,快速给予你合适的答案,哪怕是资料不相关的内容,AI也会回答你相对合适的答案。

CHAT With RTX初体验 本地部署AI的好帮手

那我们首先先来简单试验下这个CHAT With RTX,首先是安装问题,软件安装包NVIDIA官网便有得下,但安装过程还是需要下载,且需要一定的科学上网环境,才可完成安装,在安装完成后,需要保持网络环境开启软件即可体验CHAT With RTX。

CHAT With RTX初体验 本地部署AI的好帮手

打开CHAT With RTX,可以发现左上角显示默认采用mistral大模型,右上角则可以选择资料来源(数据集),目前可选的只有文件夹、油管视频以及模型本身的,文件支持txt、pdf、doc,只要放在目标目录下即可(子文件夹也行)。

CHAT With RTX初体验 本地部署AI的好帮手

在默认文件夹中,有着NVIDIA各项技术的文档,那么根据下方提供的问题,首先提问什么是传送门:序曲RTX版,CHAT With RTX会根据文档中传送门的内容,经过大语言模型分析,并给你提供出答案,如果在大量文章中检索需要的内容,那么CHAT With RTX绝对是快捷方便的工具。

CHAT With RTX初体验 本地部署AI的好帮手

目前CHAT With RTX默认的语言只能使用英文回答,若使用中文提问,也可以得出正确的回答,但依旧是以英文的形式,若想加入中文回答,则需为CHAT With RTX加入新的中文模型,这过程稍许复杂,并需要科学上网,详情可参考以下B站视频链接尝试添加。

https://www.bilibili.com/video/BV1DK421b7JX/

CHAT With RTX初体验 本地部署AI的好帮手

那么我们依据上面视频内容,添加了百川的大预言模型后,即可做到中文提问中文回答,资料依旧是文件夹里提供的英文资料,但是不同的是,回答方式改为了中文,更方便国内用户使用。

CHAT With RTX初体验 本地部署AI的好帮手

在文件夹中加入过往的文章,重新加载文件夹内容后,即可完成相关内容的检索,输入后会快速检索内容并进行总结描述。

CHAT With RTX初体验 本地部署AI的好帮手

除了文件夹内容检索外,目前还支持油管视频检索,要求CHAT With RTX详细的介绍该视频内容,经过一段时间分析,就能将视频解析个大概,当然有些部分的准确程度不一定很高,但还是处于可以看的水准。

CHAT With RTX初体验 本地部署AI的好帮手

可以看到,目前CHAT With RTX可以快速分析文档和视频,配合合适的大语言模型,可以给予准确率不错的答案,而且由于是本地部署,回答的内容和提供的资料都没有外泄的可能,在安全性上还是可靠的。不过目前还只是个demo测试版,并且Google后续还会利用NVIDIA TensorRT-LLM,优化自家的开放语言模型,以便支持NVIDIA AI平台,相信之后的内容与生态会越来越丰富。

CHAT With RTX初体验 本地部署AI的好帮手

目前想使用NVIDIA CHAT With RTX的用户,需要RTX 30、RTX 40系显卡,其他显卡暂不支持,所以想使用CHAT With RTX的朋友,可以考虑下影驰RTX 4070 SUPER金属大师OC显卡。

CHAT With RTX初体验 本地部署AI的好帮手

影驰RTX 4070 SUPER金属大师OC采用了无灯光设计,外观主要采用金属灰,并拥有很强的金属质感,配合高效的散热器,可以做到高性能、低温度、低噪音,无论是游戏还是AI,都能在高负载下稳定运行,是你研究AI路上的好帮手,喜欢的朋友欢迎来影驰官方商城购入哦~

【本文结束】如需转载请务必注明出处:快科技

责任编辑:梦佳

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |
本文收录在
#影驰

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...