Skip to content

AI Manager

AI Proxy - Web Console - Expose TinyLlama

  1. Entrar al menú de AI Manager y seleccionar el botón Expose LLM, expondremos por medio de Kong AI GATEWAY el modelo TinyLlama que desplegamos en un contenedor de Docker anteriormente. Konnect
  2. Rellenar los campos del formulario de la siguiente forma:
  3. LLM name=tinyllama
  4. LLM provider=Llama 2
  5. Upstream URL=http://ollama:8080/api/chat
  6. Llama 2 Format=ollama
  7. Select control plane=workshop-itm
  8. Path=/api/chat
  9. Dar click en el botón Save
  10. Deberá aparecer de la siguiente forma: Konnect
  11. Ahora puedes probar el modelo realizando solicitudes a través del API Gateway. Recuerda que el API Gateway de Kong expone los servicios en el puerto 8000 internamente y en el puerto 30080 de forma externa a través del servidor Docker. Utiliza el siguiente ejemplo con el comando curl, reemplazando el FQDN (nombre de dominio completo) o la dirección IP del servidor, según corresponda: 
    curl http://student-0-aio.34-82-238-123.nip.io:30080/api/chat \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "tinyllama",
    "messages": [
      {
        "role": "user",
        "content": "¿Cuál es la capital de Francia?"
      }
    ]
  }'
  12. Realiza varios llamados al API expuesta cambiando la pregunta, también es posible utilizar Insomnia para realizar estas pruebas: Konnect
  13. Ahora puedes regresar a AI Manager > tinyllama y verificar las estadisticas de utilización. Konnect

AI Proxy - Web Console - Expose OpenAI

Solicitar al instructor un ACCESS KEY para OpenAI, para este taller la llamaremos OPENAI_API_KEYY

  1. Entrar al menú de AI Manager y seleccionar el botón Expose LLM Konnect
  2. Rellenar los campos del formulario de la siguiente forma:
  3. LLM name=openai
  4. LLM provider=OpenAI
  5. Select control plane=workshop-itm
  6. Authentication from gateway to LLM > Provided by the AI gateway > API key=OPENAI_API_KEY
  7. Path=/openai
  8. Dar click en el botón Save
  9. Deberá aparecer de la siguiente forma: Konnect
  10. Ahora puedes probar el modelo realizando solicitudes a través del API Gateway. Recuerda que el API Gateway de Kong expone los servicios en el puerto 8000 internamente y en el puerto 30080 de forma externa a través del servidor Docker. Utiliza el siguiente ejemplo con el comando curl, reemplazando el FQDN (nombre de dominio completo) o la dirección IP del servidor, según corresponda, ejecutar el siguiente comando en el servidor Docker: 
    curl http://student-0-aio.34-82-238-123.nip.io:30080/openai \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [
      {
        "role": "user",
        "content": "¿Cuál es la capital de Francia?"
      }
    ]
  }'
  11. Realiza varios llamados al API expuesta cambiando la pregunta, también es posible utilizar Insomnia para realizar estas pruebas: Konnect
  12. Ahora puedes regresar a AI Manager > openai y verificar las estadisticas de utilización. Konnect