Від задачі до чіткішого процесу інференсу.

Керований інференс надає обслуговування моделі за API, щоб ваш застосунок міг надсилати запити на відповіді без запуску власного GPU-сервера. WeightsAPI використовує сумісний з OpenAI формат запитів для моделей з відкритими вагами; перевірте статус сервісу щодо доступності.

Ви все ще володієте застосунком: його промптами, вибором даних, дозволами, поведінкою повторних спроб та перевіркою виводу. Почніть із конкретного завдання та вирішіть, як виглядатиме корисна відповідь. Посібник з варіантів використання пропонує відправні точки, не обіцяючи, що кожна модель підтримує всі функції.

Використовуйте каталог моделей, щоб порівняти можливості, ліцензії, контекст та тарифи на вхід/вихід. Прочитайте сторінку моделі, а потім використовуйте її точний ідентифікатор моделі API у своєму запиті. Розрізняйте власний контекст видавця та підтверджений ліміт розгортання: вхідні дані та запланований вихід мають вписуватися в останній.

Наявність у каталозі не доводить, що розгортання доступне. Виявлення моделей показує підключені розгортання, коли доступний бекенд. Порівнюйте відповідні тарифи на ціноутворенні, а не припускайте, що всі моделі коштують однаково.

Почніть із короткого промпту, точного ідентифікатора моделі та обмеженого виходу. Швидкий старт пояснює формат chat-completions. Додавайте лише історію розмови, необхідну для завдання, і зберігайте облікові дані API на своєму сервері.

Потокова передача необов’язкова: вона доставляє відповідь у вигляді подій, а не як одну цілісну відповідь. Прочитайте посібник зі потокової передачі, перш ніж увімкнути її, зокрема як обробляти перервані відповіді та підсумковий запис використання.

Увійдіть до консолі. Створюйте окремі ключі для застосунків або середовищ, встановіть позитивний ліміт витрат і за потреби обмежте дозволені моделі. Збережіть секрет одразу після його першого показу.

Ліміт ключа застосовується до зафіксованого використання за весь час і непогашених резервувань, а не до місячної норми. Замінюйте скомпрометовані ключі та відкликайте старі. FAQ пояснює, як пов'язані ключі, кредит і незавершені запити.

Доступ до ШІ вимагає входу, одного підтвердженого поповнення щонайменше на 100 доларів США, авторизованого ключа API та достатнього доступного кредиту для запиту. Кожне наступне поповнення також має мінімум 100 доларів США; менші залишки залишаються придатними, якщо вони покривають запит. Кредит вимагає верифікації транзакції. Перевірте статус сервісу щодо доступності моделей перед надсиланням трафіку.

Для прийнятого платного запиту доступний кредит покриває вхідні дані та максимальний вихід до початку генерації. Остаточна вартість використовує фактичне використання входу/виходу; початкове резервування не є остаточним платежем. Запити, що очікують на розрахунок, можуть таким чином зменшувати доступний кредит.

Якщо відповідь зупиняється до підтвердження остаточного використання, резервування може залишатися до узгодження. Замовлення на фінансування надає інструкції щодо оплати; кредит вимагає верифікації транзакції. Перегляньте білінг щодо термінів дії котирувань, підтверджень і доступного кредиту.

Для питань щодо документів нехай ваш застосунок вибирає відповідні уривки, запитує відповідь із цитуваннями та перевіряє ці цитування за джерелами. Тримайте дозволи на документи та остаточний перегляд у своєму застосунку.

Оцінюйте якість відповідей, використання контексту та очікувані витрати на репрезентативних прикладах. Розширюйтеся лише після тестування необхідних можливостей. Щодо помилок, перерваних потоків або незавершеного кредиту дотримуйтесь посібника з підтримки та збережіть очищений звіт.