# Node Probe - odkrywanie inferencji

#sympozium #komunikacja #inference #discovery

## Koncepcja

Node Probe to **DaemonSet** odkrywający lokalne inference providers (Ollama, vLLM, llama-cpp, LM Studio) zainstalowane bezpośrednio na nodach klastra.

## Jak to działa

```
Node Probe Pod (DaemonSet - jeden per node)
    ↓
Probeuje localhost ports:
  - :11434 (Ollama)
  - :8000 (vLLM)
  - :1234 (LM Studio)
  - :8080 (llama-cpp)
    ↓
Jeśli znalazł provider:
  - Pobiera listę modeli (GET /v1/models)
  - Annotuje node:
    sympozium.ai/inference-provider: ollama
    sympozium.ai/inference-models: llama3.2,codellama
    sympozium.ai/inference-url: http://localhost:11434/v1
    ↓
API Server czyta annotacje node'ów
    ↓
TUI/Web wizard pokazuje dostępne node'y i modele
    ↓
Użytkownik wybiera → nodeSelector w SympoziumInstance
```

## Cel

Dla lokalnych providerów (Ollama na GPU node) nie trzeba:
- Ręcznie konfigurować baseURL
- Szukać na jakich nodach jest Ollama
- Sprawdzać jakie modele są dostępne

Node Probe automatyzuje discovery i prezentuje w UI.

## nodeSelector

```yaml
# SympoziumInstance
spec:
  agents:
    default:
      model: llama3.2
      baseURL: "http://localhost:11434/v1"
      nodeSelector:
        sympozium.ai/inference-provider: ollama
```

Agent pods będą schedulowane TYLKO na nodach z Ollama.

---

Powiązane: [[SympoziumInstance]] | [[Control Plane]]