NVIDIAは13日(米国時間)、PC上のローカルデータを使って自分にパーソナライズしたAIチャットボットを作ることができるツール「Chat with RTX」を公開した。
GeForce RTX 30/40シリーズまたはNVIDIA RTX Ampere/Ada世代、かつVRAM 8GB以上のGPUを搭載したPCで利用できる。ツール自体は無償で入手可能。
外部の情報を用いて生成AIモデルの精度を高める手法であるRAG(Retrieval-Augmented Generation)に加え、NVIDIA TensorRT-LLM、NVIDIA RTXアクセラレーションを用いて、Windows PC上で生成AI機能を実現するツール。
MistralやLlama2といったオープンソースの大規模言語モデル(LLM)に、PC上のローカルファイルをデータセットとして読み込むことで、「この前家族が教えてくれたオススメのレストランってどこだっけ?」といった、私的なユーザーの質問に対する回答をチャットボットが返してくれる。
クラウドを経由せず、ローカルPC上でGPUとデータセットを用いて処理するため、高速な処理が可能。
また、機密性の高いデータについても第三者に共有することなく処理できるとしている。
データセットとしては、テキスト(.txt)、PDF(.pdf)、Word文章(.doc/.docx)、XML(.xml)などさまざまなファイル形式をサポート。
ツール上からフォルダを指定すると、その中のファイルを読み込んで回答に活用する。
また、YouTubeの動画やプレイリストのURLを読み込むことも可能で、その内容について尋ねることもできる。
NVIDIA、PC上で動くカスタムAI「Chat with RTX」を無償公開
https://pc.watch.impress.co.jp/docs/news/1568624.html
引用元: ・NVIDIA、AIチャットボットを無償公開 秘蔵のエロ画像を探してくれるかも [323057825]
危険性より利便性の方が遥かにでかいと思うんだが。
コメント