Custom LLM Connection
Узел Custom LLM обращается к любому OpenAI-совместимому API: Groq, Perplexity, Ollama, Azure OpenAI или свой сервер. Ключ и Base URL задаются в подключении Custom LLM.
Нет ключа провайдера?
В каталоге есть Plug and Play-узлы: ключ провайдера не вводится, оплата через PnP. Для моделей OpenAI см. ChatGPT (Send Message to ChatGPT).
Настройка подключения
| Поле | Описание |
|---|---|
| API Key | Ключ провайдера |
| Base URL | Базовый URL совместимого API |
| Model | Идентификатор модели у провайдера (например llama-3.3-70b-versatile) |
Примеры Base URL
| Провайдер | Base URL |
|---|---|
| OpenAI | https://api.openai.com/v1 |
| Groq | https://api.groq.com/openai/v1 |
| Perplexity | https://api.perplexity.ai/chat/completions |
| Azure OpenAI | https://[ВАШ-РЕСУРС].openai.azure.com/openai/deployments/[ИМЯ-МОДЕЛИ]/chat/completions?api-version=2024-02-15 |
Структурированный ответ
Включите Structured Output и в промпте явно попросите ответ в JSON, если следующим узлам нужна структура.
Пример (чек):
You are given a receipt text. Extract the store name, purchase date, list of items with prices, and the total amount.
Receipt:
{receipt_text}
Respond in JSON using this format:
{
"store": "...",
"date": "...",
"items": [
{ "name": "...", "price": 0.00 }
],
"total": 0.00
}
Output JSON Schema
Поддержка зависит от модели — смотрите документацию провайдера.
Пример схемы с обёрткой name (если провайдер её ожидает):
{
"name": "receipt_data",
"schema": {
"type": "object",
"properties": {
"store": { "type": "string", "description": "Store name" },
"date": { "type": "string", "description": "Purchase date" },
"total": { "type": "number", "description": "Total amount" }
},
"required": ["store", "date", "total"],
"additionalProperties": false
},
"strict": true
}Поля
Базовые поля работают у совместимых API; файлы, structured output и tools зависят от модели.