От задачи к более понятному процессу инференса.

Управляемый инференс предоставляет обслуживание моделей через API, чтобы ваше приложение могло запрашивать ответы без запуска собственного GPU-сервера. WeightsAPI использует формат запросов, совместимый с OpenAI, для моделей с открытыми весами; проверьте статус сервиса для информации о доступности.

Вы по-прежнему владеете приложением: его промптами, выбором данных, разрешениями, поведением при повторных попытках и проверкой выходных данных. Начните с конкретной задачи и определите, каким должен быть полезный ответ. Руководство по сценариям использования предлагает отправные точки, не обещая, что каждая модель поддерживает все функции.

Используйте каталог моделей, чтобы сравнить возможности, лицензии, контекст и тарифы на вход/выход. Прочитайте страницу модели, затем используйте точный идентификатор модели API в запросе. Различайте собственный контекст издателя и подтвержденный лимит развертывания: входные и предполагаемые выходные данные должны соответствовать последнему.

Наличие в каталоге не доказывает доступность развертывания. Список обнаруженных моделей показывает подключенные развертывания при наличии бэкенда. Сравнивайте соответствующие тарифы на странице цен, а не предполагайте, что все модели стоят одинаково.

Начните с короткого промпта, точного идентификатора модели и ограниченного объёма вывода. Краткое руководство объясняет формат chat-completions. Добавляйте только ту историю диалога, которая нужна для задачи, и храните учётные данные API на своём сервере.

Потоковая передача необязательна: она доставляет ответ событиями, а не одним полным ответом. Прочитайте руководство по потоковой передаче, прежде чем включать её, включая то, как обрабатывать прерванные ответы и итоговую запись об использовании.

Войдите в консоль. Создайте отдельные ключи для приложений или сред, установите положительный лимит расходов и при необходимости ограничьте разрешенные модели. Сохраните секрет при первом отображении.

Лимит ключа применяется к зафиксированному использованию за все время и текущим резервированиям, а не к ежемесячному лимиту. Заменяйте скомпрометированные ключи и отзывайте старые. В FAQ объясняется, как связаны ключи, кредит и ожидающие запросы.

Доступ к ИИ требует входа в систему, одного подтвержденного пополнения на сумму не менее 100 долларов США, авторизованного API-ключа и достаточного доступного кредита для запроса. Каждое последующее пополнение также имеет минимум 100 долларов США; меньшие остатки остаются пригодными для использования, если покрывают запрос. Кредит требует проверки транзакции. Проверьте статус сервиса для информации о доступности моделей перед отправкой трафика.

Для принятого платного запроса доступный кредит покрывает входные данные и максимальный объем выходных данных до начала генерации. Окончательная стоимость использует фактическое использование входных/выходных данных; первоначальное резервирование не является окончательной платой. Запросы, ожидающие расчета, могут уменьшать доступный кредит.

Если ответ останавливается до подтверждения окончательного использования, резервирование может сохраняться до сверки. Заказ на финансирование предоставляет инструкции по оплате; кредит требует проверки транзакции. Ознакомьтесь с разделом биллинг для информации о сроках действия котировок, подтверждениях и доступном кредите.

Для вопросов по документам ваше приложение должно выбирать релевантные отрывки, запрашивать ответ с цитатами и проверять эти цитаты по источникам. Сохраняйте разрешения на документы и финальную проверку в вашем приложении.

Оценивайте качество ответов, использование контекста и ожидаемые расходы на репрезентативных примерах. Расширяйтесь только после тестирования требуемых возможностей. При ошибках, прерванных потоках или ожидающем кредите следуйте руководству по поддержке и сохраняйте обезличенный отчет.