obsidian-sympozium/06-Komunikacja/Node Probe - odkrywanie inferencji.md

Node Probe - odkrywanie inferencji

#sympozium #komunikacja #inference #discovery

Koncepcja

Node Probe to DaemonSet odkrywający lokalne inference providers (Ollama, vLLM, llama-cpp, LM Studio) zainstalowane bezpośrednio na nodach klastra.

Jak to działa

Node Probe Pod (DaemonSet - jeden per node)
    ↓
Probeuje localhost ports:
  - :11434 (Ollama)
  - :8000 (vLLM)
  - :1234 (LM Studio)
  - :8080 (llama-cpp)
    ↓
Jeśli znalazł provider:
  - Pobiera listę modeli (GET /v1/models)
  - Annotuje node:
    sympozium.ai/inference-provider: ollama
    sympozium.ai/inference-models: llama3.2,codellama
    sympozium.ai/inference-url: http://localhost:11434/v1
    ↓
API Server czyta annotacje node'ów
    ↓
TUI/Web wizard pokazuje dostępne node'y i modele
    ↓
Użytkownik wybiera → nodeSelector w SympoziumInstance

Cel

Dla lokalnych providerów (Ollama na GPU node) nie trzeba:

• Ręcznie konfigurować baseURL
• Szukać na jakich nodach jest Ollama
• Sprawdzać jakie modele są dostępne

Node Probe automatyzuje discovery i prezentuje w UI.

nodeSelector

# SympoziumInstance
spec:
  agents:
    default:
      model: llama3.2
      baseURL: "http://localhost:11434/v1"
      nodeSelector:
        sympozium.ai/inference-provider: ollama

Agent pods będą schedulowane TYLKO na nodach z Ollama.

---

Powiązane: SympoziumInstance | Control Plane