omm

omm tune

이 머신에서 모델에 맞는 컨텍스트 길이, GPU 오프로드, 스레드 수, 배치 크기 시작값을 추천합니다.

01 / 06

개요

모델을 골랐고(설치 여부 상관없이) 러너를 직접 설정하기 전에 보수적인 시작값이 필요할 때 쓰는 명령입니다. 자체적으로 벤치마크는 절대 돌리지 않습니다 — 이 머신 하드웨어와 모델 크기 기반 예측값이라, omm benchmark로 나중에 검증하라는 첫 추정치로 보면 됩니다.

02 / 06

옵션

이 명령이 받는 모든 옵션과, 생략했을 때의 기본값입니다.

  • <name>—기본값: required

    설치된 모델의 파일명, 큐레이션 이름, 또는 저장소 참조. 크기를 알아낼 수만 있다면 아직 설치 안 된 모델도 됩니다.

03 / 06

예제

기본 검색부터 스크립트에 넣을 만한 형태까지.

설치된 모델의 추천 설정.

$ omm tune qwen2.5-0.5b-instruct-q4_k_m.gguf

같은 프로필을 JSON으로.

$ omm tune qwen2.5-0.5b-instruct-q4_k_m.gguf --json

크기를 알아낼 수 있으면 아직 설치 안 된 모델에도 동작합니다.

$ omm tune mistral-7b-instruct-q4

04 / 06

실제 실행 예시

2026-08-24, 이 개발 머신에서 실제로 실행한 omm tune qwen2.5-0.5b-instruct-q4_k_m.gguf 캡처입니다. 마이너스로 나온 여유분은 캡처 시점 이 머신의 실제 메모리 압박을 반영한 것으로, 더 여유 있거나 바쁜 머신에서는 다른 숫자가 나옵니다.

06 / 06

문제가 생겼다면

아래 메시지는 모두 이 명령이 실제로 출력하는 것들입니다. 해당하는 메시지를 찾아 원인을 읽고, 마지막 줄대로 하면 됩니다.

  1. Unknown model 'zzzz-totally-fake-model-name-xyz'. Use a curated name (tinyllama-1.1b-q4, llama3.1-8b-instruct-q4, mistral-7b-instruct-q4), an 'org/repo:file.gguf' ref (optionally prefixed 'hf:' or 'ms:'), or a direct URL.
    원인
    이 이름은 큐레이션 카탈로그 어디에도 없고, tune이 인식하는 저장소 참조나 URL도 아닙니다.
    대처
    먼저 omm search로 정확한 이름이나 참조를 찾아보세요.
    출처
    src/omm/hub.py:371

그래도 해결되지 않는다면, 화면에 뜬 메시지 그대로를 첨부해 이슈를 등록하세요.

전체 명령어