Jan 소개

WebsiteLarge Language Models (LLMs)AI Code Assistant

Jan은 사용자가 자신의 컴퓨터에서 오프라인으로 대형 언어 모델을 실행할 수 있도록 하는 오픈 소스, 로컬 우선 AI 플랫폼으로, 클라우드 기반 AI 서비스에 대한 개인 정보 보호 중심의 대안을 제공합니다.

추가 정보

Jan이란?

Jan은 사용자가 개인 컴퓨터나 서버에서 강력한 언어 모델을 직접 실행할 수 있도록 하여 인공지능에 대한 접근을 민주화하는 것을 목표로 하는 혁신적인 오픈 소스 프로젝트입니다. 인간-기계 협업을 발전시키는 데 중점을 둔 로봇 회사 Jan Labs에 의해 개발된 Jan은 OpenAI의 GPT와 같은 클라우드 기반 AI 플랫폼에 대한 자체 호스팅 대안을 제공합니다. Mistral 및 Llama2와 같은 다양한 모델을 지원하며 OpenAI 동등 API를 제공하여 AI 애호가, 개발자 및 개인 정보 보호를 중시하는 사용자에게 다재다능한 도구가 됩니다.

Jan은 어떻게 작동하나요?

Jan은 사용자가 대형 언어 모델을 로컬 장치에서 다운로드하고 실행할 수 있도록 하여 지속적인 인터넷 연결이나 원격 서버에 대한 의존성을 없앱니다. AI 모델과 채팅하기 위한 사용자 친화적인 인터페이스를 제공하며 llama.cpp 및 TensorRT-LLM을 포함한 여러 엔진 유형을 지원합니다. Jan은 localhost:1337에서 OpenAI 동등 API 서버를 제공하여 호환되는 애플리케이션과의 원활한 통합을 가능하게 합니다. 이 플랫폼은 개인 컴퓨터에서 다중 GPU 클러스터에 이르기까지 다양한 하드웨어 구성에서 작동하도록 설계되었으며 NVIDIA GPU 및 Apple M 시리즈 칩에서 성능을 최적화합니다. 사용자는 확장을 통해 경험을 사용자 맞춤화할 수 있으며 데이터 및 모델 사용에 대한 완전한 통제권을 가집니다.

Jan의 이점

Jan은 사용자에게 여러 가지 주요 이점을 제공합니다. 첫째, 모든 대화와 파일을 사용자의 장치에 로컬로 저장하여 개인 정보 보호 및 데이터 소유권을 우선시합니다. 이 로컬 우선 접근 방식은 민감한 정보가 사용자의 통제 하에 유지되도록 보장합니다. 둘째, Jan은 유연성과 사용자 맞춤화 옵션을 제공하여 사용자가 AI 모델을 조정하고, 확장을 추가하며, 특정 요구에 맞게 경험을 조정할 수 있도록 합니다. 플랫폼의 오프라인 기능은 제한적이거나 인터넷이 없는 환경에서도 AI 사용을 가능하게 합니다. 또한, Jan의 오픈 소스 특성은 투명성과 커뮤니티 주도 개발을 촉진하여 AI 기술의 빠른 개선과 혁신으로 이어질 수 있습니다. 마지막으로, OpenAI 동등 API를 제공함으로써 Jan은 사용자가 비싼 클라우드 기반 서비스 없이 다양한 애플리케이션에서 AI 기능을 활용할 수 있도록 합니다.