weightsapi.추론콘솔
내비게이션
작동 방식

작업에서 더 명확한 추론 워크플로로.

관리형 추론을 이해하고, 모델을 선택하고, 요청을 준비하고, 크레딧, 예약 금액, 사용량 간의 관계를 따르세요.

한눈에 보기

모델을 선택하고, 액세스 및 지출 제어를 설정하고, 요청 사용량과 결제 상태를 따르세요. 트래픽을 보내기 전에 모델 가용성을 확인하세요.

서비스가 관리하는 내용 이해

관리형 추론은 모델 서비스를 API 뒤에 두어 애플리케이션이 GPU 서버를 직접 실행하지 않고도 답변을 요청할 수 있게 합니다. WeightsAPI는 오픈 웨이트 모델에 OpenAI 호환 요청 형식을 사용합니다. 서비스 상태에서 가용성을 확인하세요.

프롬프트, 데이터 선택, 권한, 재시도 동작 및 출력 검사를 포함한 애플리케이션은 여전히 사용자가 소유합니다. 구체적인 작업으로 시작하여 유용한 답변이 어떤 모습일지 결정하세요. 사용 사례 가이드는 모든 모델이 모든 기능을 지원한다고 약속하지 않으면서 시작점을 제공합니다.

실제 작업에 맞는 모델 선택

모델 카탈로그를 사용하여 기능, 라이선스, 컨텍스트, 입력/출력 요율을 비교하세요. 모델 페이지를 읽은 후 요청에 정확한 API 모델 ID를 사용하세요. 게시자의 기본 컨텍스트와 확인된 배포 한도를 구분하세요. 입력 및 의도된 출력은 후자에 맞아야 합니다.

카탈로그 목록이 배포 가용성을 증명하지는 않습니다. 모델 발견은 백엔드가 사용 가능할 때 연결된 배포를 나열합니다. 모든 모델이 동일한 비용이라고 가정하지 말고 가격 책정에서 관련 요율을 비교하세요.

작고 검사 가능한 요청 준비

짧은 프롬프트, 정확한 모델 ID, 제한된 출력으로 시작하세요. 빠른 시작에서 chat-completions 형식을 설명합니다. 작업에 필요한 대화 기록만 추가하고 API 자격 증명은 서버에 보관하세요.

스트리밍은 선택 사항입니다. 하나의 완전한 응답이 아닌 이벤트로 답변을 전달합니다. 활성화하기 전에 스트리밍 가이드를 읽고, 중단된 응답 처리 방법과 최종 사용량 기록을 확인하세요.

액세스와 지출 분리

콘솔에 로그인하세요. 애플리케이션 또는 환경별로 별도의 키를 만들고, 양의 지출 한도를 설정하고, 유용할 때 허용 모델을 제한하세요. 키가 처음 표시될 때 비밀을 저장하세요.

키 한도는 월별 허용량이 아니라 수명 기록 사용량과 미결 예약에 적용됩니다. 노출된 키는 교체하고 이전 키는 폐기하세요. FAQ에서 키, 크레딧 및 보류 중인 요청의 관계를 설명합니다.

AI 액세스에는 로그인, 최소 USD 100의 확인된 충전 1회, 승인된 API 키, 요청에 충분한 가용 크레딧이 필요합니다. 이후 각 충전도 USD 100 최소 금액이 적용되며, 더 적은 잔액도 요청을 충당할 수 있으면 사용 가능합니다. 크레딧은 거래 확인이 필요합니다. 트래픽을 보내기 전에 서비스 상태에서 모델 가용성을 확인하세요.

가용 크레딧과 최종 비용 구분

승인된 유료 요청의 경우, 가용 크레딧은 생성 시작 전 입력과 최대 출력을 충당합니다. 최종 비용은 실제 입력/출력 사용량을 사용하며, 초기 예약이 최종 청구액은 아닙니다. 따라서 정산 대기 중인 요청은 가용 크레딧을 줄일 수 있습니다.

최종 사용량이 확인되기 전에 응답이 중단되면 예약은 조정까지 유지될 수 있습니다. 자금 조달 주문은 결제 지침을 제공하며, 크레딧은 거래 확인이 필요합니다. 견적 마감, 확인 및 가용 크레딧에 대해서는 청구를 검토하세요.

확장 전에 결과 검토

문서 질문의 경우, 애플리케이션이 관련 구절을 선택하고, 인용이 포함된 답변을 요청하고, 해당 인용을 출처와 대조하도록 하세요. 문서 권한과 최종 검토는 애플리케이션에서 유지하세요.

대표 예시로 답변 품질, 컨텍스트 사용 및 예상 지출을 평가하세요. 필요한 기능을 테스트한 후에만 확장하세요. 오류, 중단된 스트림 또는 보류 중인 크레딧은 지원 가이드를 따르고 정제된 보고서를 보관하세요.

다음 단계가 필요하신가요?

관련 가이드를 찾거나 문제의 세부 내용을 준비하세요.

지원 열기