Guest User

Untitled

a guest
Sep 25th, 2026
146
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Bash 4.27 KB | None | 0 0
  1. #!/usr/bin/env bash
  2. #
  3. # ai-selector.sh — TUI-селектор локальных моделей для llama-server (dialog)
  4. #
  5. # Зависимости: dialog (sudo pacman -S dialog / sudo apt install dialog)
  6. #
  7. # Использование: ./ai-selector.sh
  8. #
  9. set -euo pipefail
  10.  
  11. #export LD_PRELOAD=libjemalloc.so
  12.  
  13. LLAMA_BIN="./llama-server"          # путь к бинарнику llama-server, поправьте под себя
  14. HOST="0.0.0.0"
  15. PORT="8080"
  16.  
  17. # Общие флаги, одинаковые для всех моделей
  18. COMMON_FLAGS=(
  19.   --host "$HOST"
  20.   --port "$PORT"
  21.   -fa on
  22.   --cache-type-k q8_0
  23.   --cache-type-v q8_0
  24.   --jinja
  25.   --alias local-model
  26. )
  27.  
  28. # ---- Реестр моделей: name | hf_repo[:quant] | ctx | ngl | n_cpu_moe | hf_file | extra_flags ----
  29. # ngl/n_cpu_moe: либо оставь ОБА пустыми, чтобы llama.cpp сам подобрал офлоад
  30. # под свободную VRAM (auto-fit), либо задавай ОБА явно. Смешивать
  31. # "auto + ручной n_cpu_moe" нельзя — auto-fit увидит ручной оверрайд и
  32. # абортится, вместо пересчёта, и словишь OOM при выделении compute-буфера.
  33. declare -A MODELS=(
  34.   [1]="Qwen3.6 35B A3B (UD-Q4_K_M)|unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_M|131072|999|999||"
  35. #  [2]="Qwen3-Coder 30B A3B (Q4_K_M)|unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q4_K_M|131072|999|999||"
  36.   [2]="Tiel-Coder 35B A3B (UD-Q4_K_XL)|peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF:UD-Q4_K_XL|131072|||"
  37. )
  38.  
  39. # Проверка наличия dialog
  40. if ! command -v dialog >/dev/null 2>&1; then
  41.   echo "Ошибка: утилита 'dialog' не найдена. Установите её:"
  42.   echo "  sudo apt install dialog     # Debian/Ubuntu"
  43.   echo "  sudo pacman -S dialog       # Arch"
  44.   exit 1
  45. fi
  46.  
  47. # Сортируем пункты по ключу для стабильного порядка
  48. IFS=$'\n' sorted_keys=($(sort <<<"${!MODELS[*]}"))
  49. unset IFS
  50.  
  51. menu_items=()
  52. for key in "${sorted_keys[@]}"; do
  53.   title="${MODELS[$key]%%|*}"
  54.   menu_items+=("$key" "$title")
  55. done
  56.  
  57. CHOICE=$(dialog --clear --backtitle "Локальный AI-селектор (llama.cpp)" \
  58.   --title "Выберите модель для запуска" \
  59.   --menu "Стрелки вверх/вниз, Enter — выбрать, Esc — выход:" \
  60.   15 60 "${#sorted_keys[@]}" \
  61.   "${menu_items[@]}" \
  62.   3>&1 1>&2 2>&3) || { clear; echo "Отменено."; exit 0; }
  63.  
  64. clear
  65.  
  66. if [[ -z "${MODELS[$CHOICE]:-}" ]]; then
  67.   echo "Неизвестный выбор."
  68.   exit 1
  69. fi
  70.  
  71. IFS='|' read -r NAME REPO CTX NGL NCPUMOE HFFILE EXTRA <<<"${MODELS[$CHOICE]}"
  72.  
  73. # Защита от конфликта: n_cpu_moe задан руками, а ngl оставлен на auto (или наоборот).
  74. # Такое сочетание валит auto-fit и приводит к OOM при выделении compute-буфера.
  75. if [[ -n "$NCPUMOE" && -z "$NGL" ]]; then
  76.   echo "Ошибка конфигурации для '$NAME':"
  77.   echo "  n_cpu_moe задан ($NCPUMOE), а ngl пуст (auto)."
  78.   echo "  Это ломает auto-fit и обычно приводит к OOM."
  79.   echo "  Задайте ngl явно (например 999) либо очистите n_cpu_moe."
  80.   exit 1
  81. fi
  82. if [[ -z "$NCPUMOE" && -n "$NGL" ]]; then
  83.   echo "Ошибка конфигурации для '$NAME':"
  84.   echo "  ngl задан ($NGL), а n_cpu_moe пуст (auto)."
  85.   echo "  Задайте n_cpu_moe явно либо очистите ngl."
  86.   exit 1
  87. fi
  88.  
  89. echo "Запускаю: $NAME"
  90. echo "Репозиторий: $REPO"
  91. [[ -n "$HFFILE" ]] && echo "Файл: $HFFILE"
  92. echo "Контекст: $CTX | ngl: ${NGL:-auto} | n-cpu-moe: ${NCPUMOE:-auto}"
  93. [[ -n "$EXTRA" ]] && echo "Доп. флаги: $EXTRA"
  94. echo
  95.  
  96. HF_ARGS=(-hf "$REPO")
  97. if [[ -n "$HFFILE" ]]; then
  98.   HF_ARGS+=(--hf-file "$HFFILE")
  99. fi
  100.  
  101. TUNE_ARGS=()
  102. if [[ -n "$NGL" ]]; then
  103.   TUNE_ARGS+=(-ngl "$NGL")
  104. fi
  105. if [[ -n "$NCPUMOE" ]]; then
  106.   TUNE_ARGS+=(--n-cpu-moe "$NCPUMOE")
  107. fi
  108.  
  109. EXTRA_ARGS=()
  110. if [[ -n "$EXTRA" ]]; then
  111.   read -ra EXTRA_ARGS <<<"$EXTRA"
  112. fi
  113.  
  114. exec "$LLAMA_BIN" "${HF_ARGS[@]}" \
  115.   -c "$CTX" \
  116.   "${TUNE_ARGS[@]}" \
  117.   "${COMMON_FLAGS[@]}" \
  118.   "${EXTRA_ARGS[@]}"
Advertisement
Add Comment
Please, Sign In to add comment