Ollama를 통한 LLM 모델 벤치마킹 후기

Ollama란?

Ollama

Get up and running with large language models.

https://ollama.com/

1. ollama pull <모델이름[:버전]>: 모델을 다운로드 하고

2. ollama run <모델이름[:버전]>: 모델을 수행한다.

# Llama 3 8B 모델 다운로드
ollama pull llama3:8b  

# 한 줄 프롬프트 바로 전달
ollama run llama3:8b "안녕하세요, 오늘 날씨 어때?"
# 혹은 다음과 같이 전달
ollama run llama3:8b --prompt "SQL 튜닝에서 인덱스 스킵 스캔을 설명해줘." --temperature 0.2

Ollama vs. HuggingFace

• macOS, Windows, Linux에서 로컬 환경에서 LLM을 직접 실행할 수 있게 지원

• ollama pull, ollama run 같은 간단한 CLI 명령어로 모델 다운로드 및 실행 가능

• 퀀타이즈된 모델을 주로 제공해 GPU 메모리가 크지 않아도 동작 (예: 4GB VRAM으로도 소형 모델 실행 가능)

• REST API, CLI 기반이라서 개발자가 빠르게 테스트하고 서비스에 임베딩하기 좋음

• 데이터가 로컬에서만 처리되어 프라이버시 강점

• 모델 허브(Model Hub): 수십만 개의 공개 모델, 데이터셋, 스페이스(앱) 공유

• 모델은 보통 원본(Full-precision) 그대로 올라오며, 실행 시에는 Transformers, Accelerate, PEFT 등 라이브러리를 활용

• 클라우드 중심 사용도 많음: HuggingFace Hub에서 직접 Inference API 호출 가능

• 학습, 파인튜닝, 배포 등 엔드투엔드 AI 개발 파이프라인을 지원

• 커뮤니티가 크고 ML 연구자·엔지니어 표준 생태계처럼 쓰임

실험 방법

• Gemma (gemma, gemma2, gemma3)

• Qwen (qwen2.5, qwen3)

• Llama (llama3, llama3.1, llama3.2)

• Mistral, Phi-3, Orca-Mini 등등

1. 로그인이 안 될 때 원인 파악 및 담당팀 문의 방법

2. 결재라인 변경 요청 부서 및 기능 확인 방법

3. 모니터 화면 깜빡임 문제 해결 및 문의처

4. SSL 인증서 만료 시 문의 대상 (서버 담당자 vs. 보안 담당자)

주요 결과

• model_grouped_quality_summary.csv 기준으로 qwen2.5:7b 모델이 평균 91점으로 가장 높은 품질 점수를 받음
• 그 뒤는 qwen2.5:1.5b (89점), gemma:7b (88.5점) 모델

• 파라미터 크기와 답변 품질이 꼭 비례하지는 않았다.
• 예를 들어, 1.5B짜리 qwen2.5 모델이 오히려 7B, 9B급 모델보다 더 나은 답변을 주는 경우도 있었다.

직접 해보고 싶다면

1. model_experiment.ipynb 열기 → 테스트할 모델과 프롬프트 수정 후 실행

2. 결과는 ollama_benchmark_results.csv에 저장

3. analyze_result.ipynb로 결과 비교 및 분석

마무리

+ Mar 16, 2026

CanIRun.aiCanIRun.ai — Can your machine run AI models?

CanIRun.ai — Can your machine run AI models?

Detect your hardware and find out which AI models you can run locally. GPU, CPU, and RAM analysis in your browser.

CanIRun.ai