¿Sabes que puedes simplemente crear una aplicación, usar el LLM más inteligente disponible que haga muy felices a tus usuarios, recopilar los datos y luego destilar un LLM más tarde para hacerlo mucho más rápido y un orden de magnitud más barato, verdad?

Esto suena como un comentario de IA, pero la justificación para tomarse el tiempo de hacer un comentario de IA en una publicación de Medium está más allá de nosotros. Así que, a pesar de nuestros instintos, debemos concluir que esto es humano. ¡Gracias por el cumplido!

Así que déjame aclarar esto. Inference tiene: 1. Una red descentralizada que proporciona inferencia LLM al precio de la electricidad 2. Las habilidades de entrenamiento y servicio de modelos para hacer que los modelos sean súper baratos, especialmente para tareas especializadas 3. Acuerdos con centros de datos para alquilar capacidad infrautilizada a tarifas masivamente descontadas 4. Una API de inferencia por lotes diseñada para escalar a miles de millones de solicitudes ¿Y @paulg aún no nos sigue? Esto es una tontería.

Claude imaginó una interfaz de línea de comandos para inferencias por lotes, pero es bastante genial en secreto. ¿Deberíamos simplemente lanzarlo?

¿Crees que eres gracioso, anónimo de Twitter? Aquí tienes tu oportunidad de demostrarlo. Hemos construido una red de inferencia distribuida para la inferencia a gran escala de LLM y entrenado ClipTagger-12B, un modelo de vanguardia para la subtitulación de fotogramas de video. Ahora necesitamos una red de marketing distribuida para que la gente se entere de ello (ese eres tú). Estamos enviando $250 a la persona o IA que cree el mejor/capción de imagen más divertida (medida por el número de me gusta) utilizando nuestro nuevo modelo. Dale me gusta a esta publicación + vuelve a publicar/comenta con tu caption + imagen para ser elegible. El ganador se elegirá en 100 horas. Enlace al playground abajo ⬇️

Próximamente en el centro de San Francisco

Muchas personas querían aprender a usar nuestro modelo ClipTagger-12B para buscar videos. Nuestra nueva muestra te muestra cómo puedes extraer fotogramas de un video, subtitularlos con ClipTagger y luego buscar fotogramas de manera efectiva con Chroma. Si estás construyendo una búsqueda de video, ¡vale la pena echarle un vistazo! Enlace abajo 👇

cartel publicitario bonito

Cómo se siente destilar inteligencia en un modelo de 12B

La señalización de neón de Inference HQ es impresionante.