Bir görevden daha net bir inference iş akışına.

Yönetilen çıkarım, model sunumunu bir API arkasına koyar; böylece uygulamanız GPU sunucusunu kendisi çalıştırmadan bir yanıt isteyebilir. WeightsAPI, açık ağırlıklı modeller için OpenAI uyumlu bir istek biçimi kullanır; kullanılabilirlik için hizmet durumunu kontrol edin.

Uygulama size aittir: istemleri, veri seçimi, izinler, yeniden deneme davranışı ve çıktı kontrolleri. Belirli bir görevle başlayın ve yararlı bir yanıtın ne olacağına karar verin. Kullanım örneği kılavuzu, her modelin her özelliği destekleyeceğini vaat etmeden başlangıç noktaları sunar.

Yetenekleri, lisansları, bağlamı ve giriş/çıkış oranlarını karşılaştırmak için model kataloğunu kullanın. Model sayfasını okuyun, ardından isteğinizde tam API model kimliğini kullanın. Yayıncının yerel bağlamını onaylanmış dağıtım sınırından ayırt edin: giriş ve amaçlanan çıktı ikincisine sığmalıdır.

Katalog listesi, bir dağıtımın kullanılabilir olduğunu kanıtlamaz. Model keşfi, bir arka uç kullanılabilir olduğunda bağlı dağıtımları listeler. Tüm modellerin aynı maliyete sahip olduğunu varsaymak yerine fiyatlandırmadaki ilgili oranları karşılaştırın.

Kısa bir istem, tam model kimliği ve sınırlı bir çıktı ile başlayın. Hızlı başlangıç, sohbet tamamlama biçimini açıklar. Yalnızca görev için gereken konuşma geçmişini ekleyin ve API kimlik bilgilerini sunucunuzda tutun.

Akış isteğe bağlıdır: yanıtı tek bir tam yanıt yerine olaylar halinde iletir. Etkinleştirmeden önce akış rehberini okuyun; kesintiye uğrayan yanıtların ve son kullanım kaydının nasıl ele alınacağı da dahil.

Konsolda oturum açın. Uygulamalar veya ortamlar için ayrı anahtarlar oluşturun, pozitif bir harcama sınırı belirleyin ve yararlı olduğunda izin verilen modelleri kısıtlayın. Sırrı ilk gösterildiğinde kaydedin.

Bir anahtar sınırı, aylık bir ödenek değil, yaşam boyu kaydedilen kullanım ve bekleyen rezervasyonlar için geçerlidir. Açığa çıkan anahtarları değiştirin ve eskilerini iptal edin. SSS, anahtarların, kredinin ve bekleyen isteklerin nasıl ilişkili olduğunu açıklar.

AI erişimi, oturum açmayı, en az 100 USD tutarında onaylanmış bir yükleme, yetkili bir API anahtarı ve istek için yeterli kullanılabilir kredi gerektirir. Sonraki her yükleme de 100 USD minimuma sahiptir; daha küçük kalan bakiyeler isteği karşıladığında kullanılabilir kalır. Kredi, işlem doğrulaması gerektirir. Trafik göndermeden önce model kullanılabilirliği için hizmet durumunu kontrol edin.

Kabul edilen ücretli bir istek için, kullanılabilir kredi üretim başlamadan önce giriş ve maksimum çıktıyı karşılar. Nihai maliyet, gerçek giriş/çıkış kullanımını kullanır; ilk rezervasyon nihai ücret değildir. Bu nedenle, mutabakat bekleyen istekler kullanılabilir krediyi azaltabilir.

Bir yanıt nihai kullanım onaylanmadan önce durursa, rezervasyon mutabakata kadar kalabilir. Bir fonlama emri ödeme talimatları sağlar; kredi, işlem doğrulaması gerektirir. Teklif son tarihleri, onaylar ve kullanılabilir kredi için faturalandırmayı inceleyin.

Belge soruları için, uygulamanızın ilgili pasajları seçmesini, alıntılarla bir yanıt istemesini ve bu alıntıları kaynaklara karşı kontrol etmesini sağlayın. Belge izinlerini ve nihai incelemeyi uygulamanızda tutun.

Yanıt kalitesini, bağlam kullanımını ve beklenen harcamayı temsili örneklerle değerlendirin. Yalnızca gerekli yetenekleri test ettikten sonra genişletin. Hatalar, kesintiye uğramış akışlar veya bekleyen kredi için destek kılavuzunu izleyin ve temizlenmiş bir rapor saklayın.