Rutas de Aprendizaje
Artículos estructurados sobre LLMs, RAG, modelos multimodales y más. Elige un tema y empieza a explorar.
No se encontraron temas.
NanoGPT Speedrun
Mejoras incrementales que llevan la eficiencia del pre-entrenamiento de GPT a sus límites, del punto de partida al estado del arte en horas.
Pipelines RAG
De TF-IDF y BM25 a bi-encoders densos, fusión híbrida, rerankers, indexado HNSW y fine-tuning con pérdidas contrastivas — todo lo necesario para construir sistemas RAG de producción.
Modelos Decoder
Modelos de lenguaje autorregresivos desde cero: arquitectura, atención, estrategias de decodificación y leyes de escalado.
Fine-tuning de Encoders
Modelos bidireccionales estilo BERT, modelado de lenguaje enmascarado y técnicas de ajuste fino eficientes como LoRA y adaptadores.
Modelos Visión-Lenguaje
Arquitecturas multimodales que alinean representaciones visuales y textuales: CLIP, pre-entrenamiento contrastivo y VQA.
Modelos Visión-Lenguaje-Acción
VLAs para robótica: anclar lenguaje y visión en políticas motoras, de OpenVLA a la predicción de acciones basada en difusión.
RLHF y Alineamiento
Aprendizaje por refuerzo con retroalimentación humana, modelado de recompensas, PPO, DPO y las técnicas para alinear modelos de lenguaje con preferencias humanas.
Agentes y Uso de Herramientas
Agentes basados en LLMs, llamadas a funciones, ReAct, sistemas multiagente e infraestructura para la ejecución autónoma de tareas.
Modelos de Difusión
Modelos generativos basados en puntuación, DDPM, DDIM, guía sin clasificador y difusión latente — la arquitectura detrás de la generación moderna de imágenes y vídeo.
Mezcla de Expertos
Capas MoE dispersas, algoritmos de enrutamiento, balanceo de carga y cómo modelos como Mixtral escalan eficientemente a cientos de miles de millones de parámetros.
Modelos de Espacio de Estados
Mamba, S4 y la familia de SSMs estructurados que logran modelado de secuencias en tiempo lineal como alternativa competitiva a la atención del Transformer.
Benchmarks y Evaluación
MMLU, HumanEval, HELM, lm-evaluation-harness y la metodología para medir, comparar y poner a prueba las capacidades de los modelos de lenguaje.
Optimización de Inferencia
KV-cache, decodificación especulativa, cuantización (GPTQ, AWQ, GGUF), batching continuo y la ingeniería detrás de servir LLMs a escala con baja latencia.