Ingeniero de Investigación, Infraestructura, Kernels

################################################################################################################################################################################################################################################################ La misión de Thinking Machines Lab es empoderar a la humanidad promoviendo la inteligencia general colaborativa. Estamos construyendo un futuro donde todos tienen acceso a los conocimientos y herramientas para hacer que la IA funcione para sus necesidades y metas únicas. Somos científicos, ingenieros y constructores que han creado algunos de los productos AI más utilizados, incluyendo ChatGPT y Character.ai, modelos de peso abierto como Mistral, así como proyectos populares de código abierto como PyTorch, OpenAI Gym, Fairseq y Segment Cualquier cosa. Estamos buscando un ingeniero de investigación de infraestructura para diseñar, optimizar y mantener las bases de cálculo que potencian la formación de modelos de lenguaje a gran escala. Desarrollará núcleos ML de alto rendimiento (por ejemplo, CUDA, CuTe, Triton), permitirá un aritmético eficiente de baja precisión y mejorar la pila de cálculo distribuida que hace posible la capacitación de modelos grandes. Identificado Este papel es perfecto para un ingeniero que disfruta trabajando cerca del metal y a través del límite de investigación. Colaborará con investigadores y arquitectos de sistemas para puentear el diseño algoritmo con eficiencia del hardware. Usted va a prototipo de nuevas implementaciones del núcleo, el rendimiento del perfil a través de las generaciones de hardware, y ayudar a definir las estrategias numéricas y paralelismo que determinan cómo escalamos los sistemas AI de próxima generación. - No. Nota: Este es un "empreverde papel" que seguimos abiertos sobre una base continua para expresar interés. Recibimos muchas aplicaciones, y puede que no siempre haya un papel inmediato que se ajuste perfectamente a su experiencia y habilidades. Aún así, te animamos a aplicar. Revisamos continuamente las solicitudes y llegamos a los solicitantes como nuevas oportunidades abiertas. Usted es bienvenido a volver a aplicar si usted tiene más experiencia, pero por favor evitar aplicar más de una vez cada 6 meses. También puede encontrar que ponemos publicaciones para roles singulares para necesidades específicas separadas, de proyecto o de equipo. En esos casos, usted es bienvenido a aplicar directamente además de un papel siempre verde. Lo que harás será lo siguiente: ■ul لенннилинининый y implemente núcleos ML personalizados (p. ej., CUDA, CuTe, Triton) para operaciones centrales de LLM tales como la atención, multiplicación de matriz, gating y normalización, optimizados para arquitecturas modernas GPU y aceleradoras. لелинилиниенни y pensar a través de primitivos de computación para reducir el ancho de banda de memoria y mejorar la eficiencia de computación del núcleo. لелилиный Colabora con los equipos de investigación para alinear las optimizaciones a nivel del núcleo con la arquitectura modelo y objetivos algoritmo. > < > > > > > > > > > > Contribuir a la estabilidad y escalabilidad de la infraestructura, garantizar la reproducibilidad, la consistencia en formatos de precisión y la alta utilización de los recursos informáticos. ■li Document and share insights through internal conversations, technical papers, or open-source contributions to strengthen the broader ML systems community. ■/ul ■h2 títulos y clasificaciones > > > ■ul > < > > > > > > > > > > < > > > > > > > > > > Identificar los marcos de aprendizaje profundo (p. ej., PyTorch, JAX) y sus arquitecturas de sistema subyacentes. ■li Entorpece en un entorno altamente colaborativo con muchos, diferentes socios interfuncionales y expertos en materia temática. ■li Un sesgo para la acción con una mentalidad para tomar iniciativa para trabajar a través de diferentes pilas y diferentes equipos donde se observa la oportunidad de asegurarse de algo barcos. > Proficiencia en CUDA, CuTe, Triton u otros marcos de programación de GPU. • Capacidad demostrada para analizar, perfilar y optimizar las cargas de trabajo de alta intensidad. ■/ul ■p Confecciones preferidas - le animamos a aplicar si usted cumple algunos pero no todos estos: ■ul > < > > > > > > > > > ■li Seguimiento de la mejora de la productividad de la investigación mediante el diseño de infraestructuras o mejoras de procesos. יli]Experience developing or tuning kernels for deep learning frameworks such as PyTorch, JAX, or custom accelerators. > > > < > > > > > > > > > > > > > > > > Contribuciones a GPU de código abierto, sistemas ML o proyectos de optimización de compiladores. < > > > > > > > > > ■/ul ■h2 títuloLogistics obtenidos/h2 título ■ul Este papel está basado en San Francisco, California. Dependiendo de los antecedentes, habilidades y experiencia, el rango de salario anual previsto para esta posición es de 350.000 dólares - $475,000 USD. Patrocinio de нелинаннинин: Patrocinamos visas. Aunque no podemos garantizar el éxito de cada candidato o papel, si usted es el adecuado, estamos comprometidos a trabajar a través del proceso de visa juntos. ■li $beneficios: Las Máquinas de Pensamiento ofrecen beneficios generosos de salud, dental y visión, PTO ilimitado, licencia parental pagada y soporte de reubicación según sea necesario. "Conclusión de contenido" Como se establece en la política de igualdad de oportunidades de empleo de las máquinas de pensamiento, no discriminamos sobre la base de cualquier condición de grupo protegido bajo cualquier ley aplicable. - No. Thinking Machines Lab considerará para los solicitantes calificados de empleo con historias delictivas de una manera compatible con los requisitos de la Ley de la Cancillería de California, la Ordenanza de la Cancillería de San Francisco, y cualquier otra ordenanza o ley estatal o local de justas posibilidades.