En una publicación de blog reciente, se discutio cómo ChatGPT y Elasticsearch ^® pueden trabajar juntos para ayudar a administrar los datos propietarios de manera más efectiva. Al utilizar las capacidades de búsqueda de Elasticsearch y la comprensión contextual de ChatGPT, demostramos cómo se pueden mejorar los resultados obtenidos.

En esta publicación, analizamos cómo se puede mejorar aún más la experiencia de los usuarios con la adición de facetas, filtrado y contexto adicional. Al proporcionar herramientas como ChatGPT contexto adicional, puede aumentar la probabilidad de obtener resultados más precisos. Vea cómo el marco de facetas y filtrado de Elasticsearch puede permitir a los usuarios refinar su búsqueda y reducir el costo de interactuar con ChatGPT.

Lo ideal sería pasar más contexto a ChatGPT, pero los modelos 3.5 turbo actuales están limitados a 4096 tokens (eso incluye la respuesta que espera obtener, por lo que el límite real es mucho más bajo). Es probable que los modelos futuros tengan un límite mucho mayor, pero esto también tiene un costo.

A partir de hoy, GPT-3.5-turbo cuesta $0.002 / 1K tokens , mientras que el prometedor GPT-4 con contexto de 32K cuesta $0.06 / 1K tokens, eso es un factor de 30 más. Incluso con modelos más potentes que llegarán en los próximos años, existe la posibilidad de que no sea económicamente viable hacerlo para todos los casos de usuarios.

Por lo tanto, no usaremos GPT-4 en este momento y, en su lugar, evitaremos la limitación máxima de tokens de GPT-3.5 enviando múltiples solicitudes simultáneas y brindando al usuario más flexibilidad para filtrar los resultados.

Más informacion, nota completa desde el Blog de Elastic