K.AI – Chat (CPU)

Chat

ctx: — · thr: — · batch: —

Suggerimento: per benchmark confrontabile, tieni temperature=0, top_p=1, seed fisso, e max_tokens costante.

Tuning

gen: —

max_tokens

seed

temperature

top_p

stop tokens (separati da |)

Backend richiesto:

POST /chat

con payload:

{"message":"...","lang":"it","variant":"Q4_K_M","gen":{"max_tokens":512,"temperature":0,"top_p":1,"seed":42,"stop":["","<|end|>"]}}

Inoltre usa GET /health e GET /models e GET /metrics per popolare modelli/metriche dinamicamente.