61 lines
1.4 KiB
Markdown
61 lines
1.4 KiB
Markdown
# Node Probe - odkrywanie inferencji
|
|
|
|
#sympozium #komunikacja #inference #discovery
|
|
|
|
## Koncepcja
|
|
|
|
Node Probe to **DaemonSet** odkrywający lokalne inference providers (Ollama, vLLM, llama-cpp, LM Studio) zainstalowane bezpośrednio na nodach klastra.
|
|
|
|
## Jak to działa
|
|
|
|
```
|
|
Node Probe Pod (DaemonSet - jeden per node)
|
|
↓
|
|
Probeuje localhost ports:
|
|
- :11434 (Ollama)
|
|
- :8000 (vLLM)
|
|
- :1234 (LM Studio)
|
|
- :8080 (llama-cpp)
|
|
↓
|
|
Jeśli znalazł provider:
|
|
- Pobiera listę modeli (GET /v1/models)
|
|
- Annotuje node:
|
|
sympozium.ai/inference-provider: ollama
|
|
sympozium.ai/inference-models: llama3.2,codellama
|
|
sympozium.ai/inference-url: http://localhost:11434/v1
|
|
↓
|
|
API Server czyta annotacje node'ów
|
|
↓
|
|
TUI/Web wizard pokazuje dostępne node'y i modele
|
|
↓
|
|
Użytkownik wybiera → nodeSelector w SympoziumInstance
|
|
```
|
|
|
|
## Cel
|
|
|
|
Dla lokalnych providerów (Ollama na GPU node) nie trzeba:
|
|
- Ręcznie konfigurować baseURL
|
|
- Szukać na jakich nodach jest Ollama
|
|
- Sprawdzać jakie modele są dostępne
|
|
|
|
Node Probe automatyzuje discovery i prezentuje w UI.
|
|
|
|
## nodeSelector
|
|
|
|
```yaml
|
|
# SympoziumInstance
|
|
spec:
|
|
agents:
|
|
default:
|
|
model: llama3.2
|
|
baseURL: "http://localhost:11434/v1"
|
|
nodeSelector:
|
|
sympozium.ai/inference-provider: ollama
|
|
```
|
|
|
|
Agent pods będą schedulowane TYLKO na nodach z Ollama.
|
|
|
|
---
|
|
|
|
Powiązane: [[SympoziumInstance]] | [[Control Plane]]
|