[Ollama] Ollama 설치 및 간단한 실행

Ollama를 설치하고 사용해 보자.

Documentation

API Reference

 

Windows 버전을 설치한다.

 

 

특별한 옵션도 없고 그냥 설치하면 된다.

 

help

 

아직 설치된 모델이 없다.

 

 

llava 모델을 설치하고 사용해 보자. LLava 모델은 한글 사용이 가능하지만 자연스럽지는 않다.

Large Language and Vision Assistant

 

ollama pull llava

 

 

ollama run llava를 실행하면 llava 모델이 실행된다.

 

D:\D\My project\C\bus.jpg

 

 

질문을 입력하면 답변이 출력된다.

 

답변은 영어로 나오지만 한글 질문도 알아듣는다.

 

이미지 경로를 다시 입력하지 않아도 정확히 인식한다.

 

llava 모델의 경우 자연스럽지는 않지만 한글 출력도 가능하다.

 

모델 삭제

 

※ 참고

vLLM

vLLM Documentation

vLLM GitHub