weightsapi.INFERENZAConsole
Navigazione
Come funziona

Da un'attività a un flusso di lavoro di inferenza più chiaro.

Comprendi l'inferenza gestita, scegli un modello, prepara una richiesta e segui la relazione tra credito, importi riservati e utilizzo.

In sintesi

Scegli un modello, imposta controlli di accesso e spesa, poi segui l'utilizzo delle richieste e lo stato dei pagamenti. Controlla la disponibilità del modello prima di inviare traffico.

Compreenda o que o serviço gerencia

A inferência gerenciada coloca o serviço de modelos atrás de uma API para que sua aplicação possa solicitar uma resposta sem executar o servidor GPU diretamente. O WeightsAPI usa um formato de solicitação compatível com a OpenAI para modelos de código aberto; verifique o status do serviço para disponibilidade.

Você ainda é dono da aplicação: seus prompts, seleção de dados, permissões, comportamento de repetição e verificações de saída. Comece com uma tarefa específica e decida como seria uma resposta útil. O guia de casos de uso oferece pontos de partida sem prometer que todo modelo suporta todos os recursos.

Escolha um modelo para a tarefa real

Use o catálogo de modelos para comparar capacidades, licenças, contexto e taxas de entrada/saída. Leia a página do modelo e use o ID exato da API do modelo em sua solicitação. Distinga o contexto nativo do editor do limite de implantação confirmado: a entrada e a saída pretendida devem caber neste último.

Uma listagem no catálogo não prova que uma implantação está disponível. A descoberta de modelos lista implantações conectadas quando um backend está disponível. Compare as taxas relevantes em preços em vez de assumir que todos os modelos custam o mesmo.

Prepara una richiesta piccola e verificabile

Inizia con un prompt breve, l'ID modello esatto e un output limitato. La guida rapida spiega il formato chat-completions. Aggiungi solo la cronologia della conversazione necessaria per l'attività e conserva le credenziali API sul tuo server.

Lo streaming è facoltativo: fornisce la risposta in eventi anziché come un'unica risposta completa. Leggi la guida allo streaming prima di abilitarlo, incluso come gestire le risposte interrotte e il registro di utilizzo finale.

Separe acesso e gastos

Entre no console. Crie chaves separadas para aplicações ou ambientes, defina um limite de gastos positivo e restrinja os modelos permitidos quando útil. Salve o segredo quando ele for mostrado pela primeira vez.

Um limite de chave se aplica ao uso vitalício registrado e reservas pendentes, não a uma franquia mensal. Substitua chaves expostas e revogue as antigas. O FAQ explica como chaves, crédito e solicitações pendentes se relacionam.

O acesso à IA requer login, um recarga confirmada de pelo menos USD 100, uma chave de API autorizada e crédito disponível suficiente para a solicitação. Cada recarga posterior também tem um mínimo de USD 100; saldos restantes menores permanecem utilizáveis quando cobrem a solicitação. O crédito requer verificação da transação. Verifique o status do serviço para disponibilidade do modelo antes de enviar tráfego.

Distinga crédito disponível do custo final

Para uma solicitação paga admitida, o crédito disponível cobre a entrada e a saída máxima antes do início da geração. O custo final usa o uso real de entrada/saída; a reserva inicial não é a cobrança final. Solicitações aguardando liquidação podem, portanto, reduzir o crédito disponível.

Se uma resposta parar antes que o uso final seja confirmado, a reserva pode permanecer até a reconciliação. Uma ordem de financiamento fornece instruções de pagamento; o crédito requer verificação da transação. Revise faturamento para prazos de cotação, confirmações e crédito disponível.

Revise o resultado antes de expandir

Para perguntas sobre documentos, faça sua aplicação selecionar passagens relevantes, solicitar uma resposta com citações e verificar essas citações contra as fontes. Mantenha as permissões de documentos e a revisão final em sua aplicação.

Avalie a qualidade da resposta, o uso do contexto e o gasto esperado com exemplos representativos. Expanda somente após testar as capacidades necessárias. Para erros, fluxos interrompidos ou crédito pendente, siga o guia de suporte e retenha um relatório higienizado.

Hai bisogno di un passaggio successivo?

Trova la guida pertinente o prepara i dettagli del tuo problema.

Apri supporto