OmniRoute

class · пространство имён z3n7.Api · исходник Api/OmniRoute.cs

public sealed class OmniRoute

Клиент локального OpenAI-совместимого роутера на http://localhost:20128 (без API-ключа).

Конструкторы#

OmniRoute#

public OmniRoute()

исходник

Создаёт клиент.

Методы#

Check#

public bool Check()

исходник

Блокирующая версия CheckAsync.

CheckAsync#

public async Task<bool> CheckAsync()

исходник

Отвечает ли роутер на запрос списка моделей статусом 2xx за 3 секунды.

Complete#

public string Complete(string model, string systemPrompt, string userPrompt, double temperature = 0.3, int maxTokens = 800, int timeoutSec = 90)

исходник

Блокирующая версия CompleteAsync.

CompleteAsync#

public async Task<string> CompleteAsync(string model, string systemPrompt, string userPrompt, double temperature = 0.3, int maxTokens = 800, int timeoutSec = 90)

исходник

Отправляет одно системное и одно пользовательское сообщение и возвращает ответ (top_p 0.9, без стриминга).

Возвращает: Текст ответа. Бросает исключение при статусе не 2xx или неожиданном ответе; в сообщении есть сырой ответ.

CompleteVision#

public string CompleteVision(string model, string systemPrompt, string userPrompt, IList<string> imagesBase64, double temperature = 0.1, int maxTokens = 800, int timeoutSec = 90)

исходник

Блокирующая версия CompleteVisionAsync.

CompleteVisionAsync#

public async Task<string> CompleteVisionAsync(string model, string systemPrompt, string userPrompt, IList<string> imagesBase64, double temperature = 0.1, int maxTokens = 800, int timeoutSec = 90)

исходник

Отправляет промпт с картинками. К промпту добавляется размер первой картинки в пикселях; ответ, обёрнутый в блок кода, разворачивается, а если это JSON с canvas_width/canvas_height, им ставится размер первой картинки.

Возвращает: Текст ответа. Бросает исключение при статусе не 2xx или неожиданном ответе; в сообщении есть сырой ответ.

GetModels#

public List<string> GetModels()

исходник

Блокирующая версия GetModelsAsync.

GetModelsAsync#

public async Task<List<string>> GetModelsAsync()

исходник

Доступные id моделей, по алфавиту. Список кешируется на время процесса; см. InvalidateModelsCache.

InvalidateModelsCache#

public static void InvalidateModelsCache()

исходник

Забывает закешированный список моделей.