macOs 에서 Ollama 3.1와 Langflow 설정

우선 필자는 맥북 프로 m1을 사용중이고,

32기가에 1테라 사양이다.

현재 작성하는 시점에 os 버전은 sonoma 14.6.1 이다

 

 * llama , ollama 헷갈릴수 있다. ollama가 더 간편하고 최신이라고 보면 된다.

 

1. Ollama 설치하기

  - 공식 사이트 (https://ollama.com/) 접속하여 다운로드 진행

 - 설치는 너무 간단하다. 받아서 실행하면 끝이다. 설치 끝

 

2. Ollama 실행

 - 본인이 주로 사용하는 터미널을 엽니다.

ollama run llama3.1

 

 - 이제 모델 다운로드가 시작됩니다. 다 될때 까지 기달리쇼~

 - 다운로드가 완료되고, 명령어를 쓸수 있는 프롬프트가 나타남

 - 또한 맥북 상단에 아이콘으로 Ollama가 실행중인걸 알수 있음.

(가작 왼쪽 낙타 모양)

 

 

(잘 안보이네요.)

 

한국어도 아주 잘합니다.

 

Ollama에 관한 설치 실행은 여기까지 입니다.

 

3. Langflow 설치하기

 - Langflow를 설치하기위해선 필수적으로 파이썬(python) 3.10 이상이 설치되어있어야 합니다.

 - 저는 파이썬도 없어서 파이썬부터 설치하였습니다.

 - 파이썬 설치

    -> https://www.python.org/downloads/ 홈페이지 접속

Download Python

 

 

현재 버전으로는 마지막 macos 용 버전이 3.12.5 네요. 저는 이걸 받아서 설치하였습니다.

 

 - 설치가 다 되면 확인을 해봐야 겠죠? 다른 사이트들 보면 

python --version

을 치라고 많이 나와있지만, 저희는 안될것입니다.

python3 --version

으로 하면 잘 나오는 것이 보여요.

 

이제 파이썬에서 제공해주는 pip를 이용 해서 langflow 를 설치하겠습니다.

python3 -m pip install langflow -U

(상당히 오래 걸립니다.)

 

 - 설치가 완료 되면, Langflow를 실행합니다.

python3 -m langflow run

 

실행이 되면서 브라우저가 자동으로 켜지더라고요.

만약 브라우저가 자동으로 안켜지면

http://loclhost:7860 으로 접속합니다. Langflow UI가 나타납니다.

 

4. Langflow 에서 Ollama3.1 사용하기

 

 - 왼쪽 위에 New Project 를 클릭

 

 - Basic Prompting (Hello, World)를 선택

이제 우리는 OpenAi 라는 3번째 창을 ollama로 변경할 겁니다.

왼쪽 메뉴중에 Models 를 눌러보면, 여러가지 ai 모델이 나오는데, 그중에 Ollama를 고를 겁니다.

 

해당 버튼을 클릭 드래그 해서 OpenAi 창 밑에 둡고, 기존 연결선을 바꿔 봅시다.

기본설정

연결 선 변경

 

위에 2번째 이미지 처럼 선을 Ollama로 변경해줍니다. 이제 openAi는 사용안합니다.

Base URL은 자동으로 설정되어있는데, ollama의 기본 실행 포트입니다. 혹시 모르니, 한번 브라우저에서 접속해보세요.

'Ollama is running' 이 보이면 정상입니다.

그리고 Model Name을 선택해줍니다. 기본적으로 ollama가 잘 실행되어있으면 선택사항에 자동 연동되서 하나가 보일겁니다.

 

 

이제 설정은 다 끝났습니다. 해당 창의 오른쪽 아래에

'Playground' 버튼이 있습니다. 한번 실행해보고, ai와 문답을 해보시면 됩니다.

 

기본적인 설정은 다 끝났습니다. 이제 로컬에서 이것저것 해보세요. 

ollama는 좀더 공부를 해보시고, langflow도 잘 활용하려면 별도로 다시 공부를 해보세요.

 

수고요~~~~~~

 

 

ps)

 아 참고로, langflow의 기본 prompt의 말투는 pirate(해적) 입니다. 그래서 문답하면, 영어로 이상한 웃음도 많이 나와요.

 

요기 prompt 에서 Template 에 있는 input 박스를 더블 클릭하면

 

이 창이 나오는데, 제가 음영 처리한 부분('angel') 이 부분만 다른걸로 바꿔가면서 테스트해보면, 여러가지 다른 답변과 말투가 나옵니다. 한번 해보세요.

수고요