점들을 연결하세요: 대부분의 챗봇과 에이전시 AI는 여전히 클라우드와 웹 인프라에 의존하고 있지만 일부 AI 애호가들은 점점 더 자체 로컬 컴퓨팅 설정을 구축하려는 경향을 보이고 있습니다. Nvidia의 새로운 PAIR 소프트웨어는 로컬 AI 파티가 더욱 성장하는 데 도움이 될 수 있습니다.
Nvidia는 로컬 추론 인프라의 폭발적인 증가를 시작하기 위해 새로운 소프트웨어 도구를 도입했습니다. PAIR(Personal AI Router Project)는 다양한 컴퓨터 시스템, 심지어 다양한 컴퓨터 운영 체제를 챗봇, AI 에이전트 및 기타 LLM 호환 애플리케이션이 처리 리소스를 공유하는 맞춤형 AI 클러스터에 연결하도록 설계된 오픈 소스 소프트웨어입니다.
GPU 빌더 설명하다 PAIR는 네 가지 주요 기능을 갖춘 시스템입니다. 소프트웨어 프레임워크는 GeForce RTX 게이밍 GPU, DGX Spark 머신 및 Mac 시스템을 단일 AI 플랫폼에 연결할 수 있습니다. Nvidia는 특별한 케이블이나 기성 하드웨어가 필요하지 않으며 연결하는 데 몇 분 밖에 걸리지 않는다고 말합니다.
여러 시스템을 연결한 후 PAIR는 Ollama 및 LM Studio와 같은 “전통적인” 로컬 참조 지원을 실행하여 사용자가 Windows, Linux 또는 macOS 시스템에서 워크로드를 실행할 수 있도록 할 수 있습니다. 프레임워크는 사용 가능한 모든 로컬 노드에서 AI 워크플로와 요청을 격리하고 유휴 컴퓨팅 리소스를 활용하여 작업 성능을 향상시키도록 설계되었습니다.
PAIR는 완전한 기본 AI 머신을 제공할 수 있습니다. 데이터 파일, 에이전트 및 챗봇 요청은 클라우드나 인터넷 연결 없이 로컬 네트워크 내에 유지되므로 개인 정보 보호에 민감한 사용자와 민감한 AI 애플리케이션에 도움이 될 것입니다.
Nvidia는 PAIR를 데이터 센터급 하드웨어나 강력한 AI 서버 가속기 없이도 이기종 컴퓨팅 환경에서 안정적으로 실행되도록 설계된 기본 AI 플랫폼으로 포지셔닝하고 있습니다. 그러나 Nvidia 제품 관리자인 Seth Schneider는 새로운 소프트웨어 프레임워크가 강력한 컴퓨팅 시스템이 종종 유휴 상태인 SOHO 및 가정에서 더 잘 작동할 것이라고 설명했습니다.
Schneider는 아빠가 RTX Spark 노트북과 DGX Spark 데스크톱 컴퓨터를 모두 사용하고, 엄마가 RTX 5090이 장착된 노트북을 사용하고, 두 자녀가 게임용 책상과 MacBook Pro를 사용하는 “이상적인” 시나리오를 제안했습니다. 이 모든 강력한 하드웨어에는 약 165테라플롭스의 컴퓨팅 성능과 유휴 상태의 “무료 토큰” 보물 창고가 포함되어 있으며, PAIR는 인공 지능의 모든 용량을 쉽게 활용하는 데 도움이 될 수 있습니다.
