Lépésről lépésre útmutató az uncensored AI integrációjához

Miért kell egy dedikált cenzúratlan végpont

A szabványos LLM végpontok gyakran injektálnak visszautatási logikát, ami zavarja a felhasználói élményt szerepjáték vagy adat kinyerési feladatok során. Egy uncensored API használatával biztosítja, hogy a modell a promptra reagáljon, nem pedig egy rejtett biztonsági politikára. Ez kritikus a chatbotokat építő fejlesztők számára, akiknek meg kell őrizniük a karakter konzisztenciát hirtelen témaváltások nélkül.

Sok felhasználó tapasztalata szerint a saját hardveren futó helyi modellek valódi szabadságot kínálnak, de hiányzik belőlük az API kényelme. Szolgáltatásunk hídként szolgál, mivel szabványos HTTP felületen keresztül biztosít abliterated modelleket. Megkapja a hangolt nagy nyelvi modell nyers kimenetét a GPU erőforrások kezelésének terhe nélkül.

Előfeltételek: SDK telepítés és környezeti változók

Kezdje a hivatalos SDK telepítésével a választott programozási nyelvhez. Python esetén futtassa pip install openai szükséges könyvtárak beszerzésére. Node.js felhasználóknak futtassák npm install openai. Ezek a csomagok automatikusan kezelik az HTTP kéréseket és a JSON elemzést.

Ezután konfigurálja a környezeti változókat a hitelesítő adatok biztonságban tartásához. Tárolja az API-kulcsot és a base URL-t egy .env fájl helyett ne hardcodeolja őket. Ez a gyakorlat megakadályozza a véletlen kitettséget, amikor kódot tol a verziókezelő rendszerekbe, mint például a GitHub.

Győződjön meg arról, hogy a futtatási környezet támogatja a szükséges Python vagy Node.js verziót. A legtöbb modern SDK jól működik az elmúlt két évben kiadott verziókkal. Ez a beállítás stabil alapot teremt az összes további integrációs lépéshez.

Az alap URL-cím és az API-kulcs konfigurálása

Az alap URL határozza meg, melyik szerver dolgozza fel a kéréseidet. Állítsd ezt erre https://api.unrestrictedlocalaimodels.com/v1 az SDK konfigurációdra. Ez a forgalmat az uncensored infrastruktúránkhoz irányítja, nem az alapértelmezett szolgáltató végpontokhoz.

Adja át API-kulcsát az authorization fejlécben. A kulcs azonnal generálódik regisztrációkor és addig nem jár le, amíg felhasználja. A havi előfizetésekkel ellentétben a kreditje nem tűnik el a számlázási ciklus végén.

• Beállítás base_url a cenzúrázatlan endpointra.
• Beállítás api_key a generált tokenhez.
• Ellenőrizze a kapcsolatot a /v1/models endpoint.

Ez a konfiguráció biztosítja, hogy minden további hívás a helyes irányítási szabályokat használja. Emellett lehetővé teszi, hogy könnyen váltson szolgáltatók között, ha összehasonlítani szeretné a kimeneteket.

Az első chat completion kérés küldése

Készítsen POST kérést a /v1/chat/completions. Tartalmazd a modell azonosítót uncensored a payloadban. Ez jelzi a szervernek, hogy melyik hangolt modellt használja az inferenciához.

Határozza meg a felhasználói üzenetet a messages tömb. A modell feldolgozza a szöveget, és visszaad egy kiegészítést. Beállíthatja a max_tokens paraméter a kimeneti hossz vezérlésére. Az alapértelmezett 2 048 token, de kérésenként akár 16 000 tokenre is növelheti.

Ellenőrizze a válasz státuskódját. A 200 OK jelzi a sikert. A hibák JSON objektumot adnak vissza a hiba részleteivel. Ez a szabványos formátum megkönnyíti a hibakeresést.

A streamelés engedélyezése a valós idejű kimenethez

A streamelés csökkenti az észlelt késleltetést a tokenek generálásuk közbeni küldésével. Állítsa be a stream paramétert true a kérésben. Az SDK eseményeket ad vissza, ahogy azok érkeznek Server-Sent Events segítségével.

Kezeljen hatékonyan minden adatdarabot. Fűzze össze a tartalom részeket a végső válasz felépítéséhez. Ez a megközelítés karbantartja a felhasználói felület válaszadóképességét még hosszú kimenetek esetén is.

Figyelje a tokenfelhasználást a stream utolsó darabjában. A szerver teljes bemeneti és kimeneti tokeneket jelent az utolsó eseményben. Ez az adat segít a költségek pontos nyomon követésében az előre fizetett egyenlegéhez képest.

Function calling implementálása (Eszközök)

A function calling lehetővé teszi, hogy a modell strukturált adatot adjon vissza a sima szöveg helyett. Határozza meg az eszközöket a kérés payloadjában specifikus sémákkal. A modell a kontextus alapján dönti el, mikor hívja meg ezeket az eszközöket.

Ez a funkció zökkenőmentesen működik az abliterated modellekkel. A hangolás biztosítja, hogy a modell a szerszámok végrehajtását részesítse előnyben, ha releváns. Több szerszámot is definiálhat különböző feladatokhoz, például időjárás-lekérdezéshez vagy adatbázis-kérdésekhez.

Elemzze a válaszban szereplő eszköz hívásokat. Hajtson végre a megfelelő függvényeket a szerverén. Ezután küldje vissza az eredményeket a modellnek a végső válaszhoz. Ez a hurok komplex ügynök viselkedést tesz lehetővé külső koordináció nélkül.

JSON mód használata strukturált adatokhoz

Kényszerítse a modellt a érvényes JSON kimenetre a response_format a {"type": "json_object"}.Ez megakadályozza, hogy a modell beszélgetési töltelékadjon a data előtt vagy után.

Használja ezt a módot a válaszok elemzéséhez más rendszerek számára. Biztosítja, hogy a kódja konzisztens, elemezhető struktúrákat kapjon. A JSON formázási hibák ritkák, amikor ez a jelölő aktív.

Ellenőrizze a kimeneti sémát az Ön oldalán. Még szigorú módban is jó gyakorlat ellenőrizni az adattípusokat. Ez a lépés észleli azokat az éles eseteket, ahol a modell hallucinálhat egy mezőnevet.

Tokenfelhasználás és költségek monitorozása

A költségek millió tokenenként kerülnek kiszámításra. A bemeneti tokenek $0.15 millió után, míg a kimeneti tokenek $0.50 millió után. A hibák és elutasítások nem fogyasztják el a hitelt, így csak a sikeres befejezésekért fizetsz.

Használat nyomon követése az API válaszfejlézek vagy az utolsó stream esemény alapján. Vonja le ezeket az összegeket az előre fizetett egyenlegéből. Mivel a kredit nem jár le, halmozhatja a használatot idővel nyomás nélkül.

Állítson be értesítéseket az alacsony egyenlegekre, ha szükséges. Az előre fizetett modell azt jelenti, hogy pontosan Ön kontrollálja a kiadásokat. Nincenek meglepetésszámlák a hónap végén. Ez az átláthatóság létfontosságú a költségvetéshez gyártási környezetben.