라마3는 페이스북이 공개한 오픈소스 LLM입니다. 라이선스 제약 없이 사용이 가능합니다. 하지만 직접 설치하고 사용하기 어려울 수 있습니다. 그래서 라마3를 이용할 수 있는 다양한 사이트들을 정리하여 소개합니다. 추가로 라마3와 관련된 사이트도 정리했습니다.
이 포스팅에서는 라마3 다운로드 신청, 테스트 등 관련 사이트를 알아보겠습니다.
라마3 다운로드와 설치 방법
라마3는 무료로 다운로드해서 사용해 볼 수 있습니다. 메타 웹사이트에 가서 신청하면, 다운로드가 가능한 링크를 제공합니다. 라마가 경량화 돼 있다고 하지만, 일반 PC에서 실행하기에는 모델이 큽니다. 또한, GPU에서 실행을 가정하고 코딩돼 있어서 CPU에서 실행하려면 코드를 수정해야 합니다. 따라서 PC에서 실행하기 보다 코랩을 유료 구매해서 사용하는 방법을 추천합니다.
메타AI 이용하기
메타AI는 메타에서 만든 인공지능 모델을 서비스로 구현한 사이트입니다. 텍스트를 입력하면 실시간으로 이미지 생성이 가능하다고 알려져 있습니다.
하지만 아쉽게도 메타AI는 한국에 서비스를 제공하고 있지 않습니다. 언제가는 제공하겠지만, 언제가 될지는 모릅니다.
올라마(Ollama)
올라마(Ollama)는 로컬 컴퓨터나 서버에서 LLM을 실행하게 해주는 플랫폼입니다. 클라우드 기반 서비스에 의존하지 않고 로컬 PC에서 AI 모델을 실행할 수 있습니다. macOS, Linux, Windows에서 사용 가능합니다.
여러 가지 오픈소스 AI 모델을 지원하며, 사용자는 이 모델들을 자유롭게 다운로드하고 커스터마이즈할 수 있습니다. 예를 들어, Llama 3, Mistral, Gemma 2 등의 모델을 제공하며, 이러한 모델들을 기반으로 자신만의 맞춤형 모델을 만들 수 있습니다.
올라마를 웹 기반 UI로 사용하게 해 주는 오프소스도 있고, 랭체인(langchain)과 연결해서 사용도 가능합니다. 그래서 쉽고 빠르게 적용해 볼 수 있습니다.
아카라마(AKALAMA)
아카라마는 연세대에서 라마를 이용해서 만들었다고 알려진 챗봇입니다. 질문과 답변을 예제 형태로 볼 수는 있지만, 직접 사용해볼 수는 없습니다.
그로크(Groq)
그로크는 구글 엔지니어 출신들이 만든 미국 반도체 회사입니다. 특히 추론 기술에 특화돼 있다고 합니다.
자신들의 기술력을 보여주기 위해 AI 모델을 사용할 수 있는 사이트를 운영하고 있습니다. 여기서는 라마3뿐만 아니라 다양한 LLM 모델을 테스트할 수 있습니다. 그래서 여러 모델의 성능을 비교하고 테스트하기 좋습니다. 답변이 빨리 생성돼 놀랍기도 합니다.
허깅 챗(Hugging Chat)
HuggingChat은 Hugging Face에서 제공하는 오픈소스 AI 챗봇입니다. ChatGPT와 유사한 방법으로 사용이 가능합니다.
메타의 라마 모델을 기반으로 하고 있으며, 다른 오픈소스 LLM 모델들도 사용이 가능합니다.
하지만 현재 ChatGPT와 비교했을 때, 컨텍스트 이해 능력이 부족하고, 응답의 일관성이 떨어진다는 평가를 받고 있습니다. 그럼에도 불구하고 무료로 사용할 수 있고, 지속적으로 개선되고 있어 향후 더 많은 가능성을 보여줄 것으로 기대됩니다.
라마3는 오픈소스 LLM으로, 다양한 사이트에서 이용 가능합니다. 이 글에서 소개한 사이트들을 참고하여 라마3를 직접 체험하고, 그 성능을 확인해 보세요.