Evaluating the Evolving LLM Lifecycle: Benchmarks, Emergent Abilities, and Scaling

Juan Miguel Navarro Carranza

Jingzhe Shi

abdallah benzine · Soumyadipta Sengupta · J.S. Buiting · Imane Khaouja · Yahia Salaheldin Shaaban · Amine KHAIR

Arya Labroo · Ivaxi Sheth · Vyas Raina · Amaani Ahmed · Mario Fritz

Sankalp Tattwadarshi Swain · Anshika Krishnatray · Dhruv Kumar · Jagat Challa

Shengyu Zhu · Tamika Bassman · Dat Tran · Aryaman Arora

Kalyan Cherukuri · Aarav Lala

Neil Majithia · Rajat Shinde · Manil Maskey · Elena Simperl

Jiayi Yuan · Yicheng Wang · Yu-Neng Chuang · Zhuoer Wang · Mark Cusick · Param Kulkarni · Zhengping Ji · Xia Hu

Jie-Jing Shao · Bowen Zhang · Xiao-Wen Yang · Baizhi Chen · Siyu Han · Wen-Da Wei · Guohao Cai · Zhenhua Dong · Lan-Zhe Guo · Yu-Feng Li

Christopher Driggers-Ellis · Gabriel Ayoubi · Christan Grant

Anil B Murthy · Jaron Mink · Lindsay Sanneman

Kerry Luo · Joshua Peguero · Anvay Patil · Megan Van Overborg · Ryan Sarmiento · Kevin Zhu

Mufei Li · Dongqi Fu · Limei Wang · Si Zhang · Hanqing Zeng · Kaan Sancak · Ruizhong Qiu · Haoyu Wang · Xiaoxin He · Xavier Bresson · Yinglong Xia · Chonglin Sun · Pan Li

Jiahao Qiu · Jingzhe Shi · Xinzhe Juan · Zelin Zhao · Jiayi Geng · Shilong Liu · Hongru WANG · Sanfeng Wu · Mengdi Wang

Mahmoud Srewa · Tianyu Zhao · Salma Elmalaki

Jan Batzner · Volker Stocker · Stefan Schmid · Gjergji Kasneci

Ratna Kandala · Katie Hoemann

Roshini Pulishetty · Mani Kishan Ghantasala · Keerthy Kaushik Dasoju · Niti Mangwani · Vishal Garimella · Aditya Mate · Somya Sharma · Yue Kang · Ehi Nosakhare · Sadid A. Hasan · Soundararajan Srinivasan

Anthony Cui · Rohan R Butani · Theodore Oltean

Harini Rajakumar · Vanessa Nwauwa · Kevin Zhu · Ashwinee Panda · Sunishchal Dev

Michael Wang · Saraswathy Amjith · Arul Kolla · Jayson Lynch · Neil Thompson

Advay Samnerkar · Sagnik Bhattacharya · Kailash Ranganathan · Ashwinee Panda · Kevin Zhu

Shengyuan Lin · Jaisal Patel · Qinchuan Zhang · Kaiwen He · Keyi Wang · Yan Wang · Matt White · Kairong Xiao · Xiaoyang Liu

Sayash Raaj Hiraou

Aditya Aggarwal · Mehul Agarwal · Arnav Goel · Medha Hira · Anubha Gupta

Egemen Sert · Seyda Ertekin

Dani Roytburg · Matthew Bozoukov · Hongyu Fu · Matthew Nguyen · Jou Barzdukas · Narmeen Oozeer

Yu-Neng Chuang · Leisheng Yu · Guanchu Wang · Lizhe Zhang · Ling Chang · Hongyi Liu · Zirui Liu · Xuanting Cai · Yang Sui · Vladimir Braverman · Xia Hu

CEM ULUOGLAKCI · Tugba Taskaya Temizel

Alwin Jin · Sean Hendryx · Vaskar Nath

Xutao Mao · Ezra Tao · Leyao Wang

Samarth Goel · Reagan Lee · Kannan Ramchandran

Mengli Duan · Michael Guerzhoy

Wen Ye · Jinbo Liu · Defu Cao · Wei Yang · Yan Liu

Tao Zhang · Kehui Yao · Luyi Ma · Reza Yousefi Maragheh · Jiao Chen · Kai Zhao · Jianpeng Xu · Evren Korpeoglu · Sushant Kumar · Kannan Achan

Yu Qi · Haibo Zhao · Ziyu Guo · Siyuan Ma · Ziyan Chen · Yaokun Han · Renrui Zhang · Zitiantao Lin · Shiji Xin · Yijian Huang · Kai Cheng · Peiheng Wang · Jiazheng Liu · Jiayi Zhang · Yizhe Zhu · Wenqing Wang · Yiran Qin · Xupeng Zhu · Haojie Huang · Lawson Wong

Mohd Ariful Haque · Kishor datta gupta · Roy George

Kamesh R

Ramesh Manuvinakurike · Celal Savur · Emanuel Moss · Elizabeth Watkins · Saurav Sahay · Giuseppe Raffa

Aravind Narayanan · Vahid Reza Khazaie · Shaina Raza

Elizabeth Watkins · Emanuel Moss · Ramesh Manuvinakurike · Christopher Persaud · Giuseppe Raffa · Lama Nachman

Jackson Petty · Michael Hu · Wentao Wang · Shauli Ravfogel · Will Merrill · Tal Linzen

Sungjun Cho · Dasol Hwang · Frederic Sala · Sangheum Hwang · Kyunghyun Cho · Sungmin Cha

Sidney Black · Asa Cooper Stickland · Jake Pencharz · Oliver Sourbut · Michael Schmatz · Jay Bailey · Ollie Matthews · Ben Millwood · Alex Remedios · Alan Cooney

Aishwarya Selvamurugan · Raj Dandekar · Rajat Dandekar · Sreedath Panat

Dongqi Zheng · Wenjin Fu

Bhavesh Kumar · Hoang Nguyen · Roger Jin · Ryan Carlow · Jeffrey Quesnelle

Sai Vasu · Ivaxi Sheth · Hui-Po Wang · Ruta Binkyte · Mario Fritz

Yash Saxena · Raviteja Bommireddy · Ankur Padia · Manas Gaur

Seng Pei Liew · Takuya Kato · Sho Takase

Andrew Bae · Saaketh Bhojanam · Laksh Patel

Harrison Sims · Gabriel Ganberg · Robert McCormack · Svitlana Volkova

Ishaan Gangwani · Harrish Ayyanar · Arjun Rawal

Arash Afkanpour · Omkar Dige · Fatemeh Tavakoli

Michał Zawalski · Meriem Boubdir · Klaudia Bałazy · Besmira Nushi · Pablo Ribalta

Lorenz Wolf · Robert Kirk · Mirco Musolesi

Jing Wu · Suiyao Chen · Alexander Gutfraind · Inseok Heo · Shengjie LIU · Chen Li · Jeremy Curuksu · Michael Sharps

Jo Jiao · Austin Kozlowski · James Evans

Ken Tsui

Fadil Amiruddin

Muneeza Azmat · Momin Abbas · Maysa Macedo · Marcelo Grave · Luan Soares de Souza · Tiago Lemos de Araujo Machado · Rogério de Paula · Raya Horesh · Yixin Chen · Heloisa Candello · Rebecka Nordenlöw · Aminat Adebiyi

Ashish Kattamuri · Harshwardhan Fartale · Arpita Vats · Rahul Raja · Ishita Prasad

Wenbo Zhang · Hengrui Cai · Wenyu Chen

Basel Shbita · Farhan Ahmed · Chad DeLuca

Shreyansh Padarha · Elizaveta Semenova · Bertie Vidgen · Adam Mahdi · Scott Hale

Jiaqi Yin · Yi-Wei Chen · MENG-LUNG LEE · Xiya Liu

Samuel Brown · Jaco Du Toit · Leo Hyams · Daniil Anisimov

Mattie Terzolo · Darvin Yi · Teng Liu · Lance Hasson · Ayan Sinha · Pablo Mendes · Andrew Rabinovich

Yanan Long

Chang Liu · Arjun Choudhry · Yifu Cai · Nina Żukowska · Mononito Goswami · Artur Dubrawski

Juan Miguel Navarro Carranza

Jon Crall · David Joy · Roderic Collins · Benjamin Fenelon · Anthony Hoogs · Brian Hu

Gyuwan Kim · Yang Li · Evangelia Spiliopoulou · Jie Ma · Miguel Ballesteros · William Yang Wang

Cheng-Ping Hsieh · Faisal Ladhak · Krishna Puvvada · Boris Ginsburg

Michael Chen

Huan Song · Deeksha Razdan · Yiyue Qian · Arijit Chowdhury · Parth Patwa · Aman Chadha · Shinan Zhang · Sharlina Keshava · Hannah Marlowe

Harshit Rajgarhia · Suryam Gupta · Asif Shaik · Praveen Kumar Gulipalli · Y Santhoshraj · Sanka Nishitha · Abhishek Mukherji

Figarri Keisha · Zekun Wu · Ze Wang · Adriano Koshiyama · Philip Treleaven

Yize Cheng · Wenxiao Wang · Mazda Moayeri · Soheil Feizi

Shaina Raza · Aravind Narayanan · Vahid Reza Khazaie · Ashmal Vayani · Mukund Chettiar · Deval Pandya

Jitian Zhao · Changho Shin · Tzu-Heng (Brian) Huang · Satya Sai Srinath Namburi · Frederic Sala

Natalia Tarasova · Enrique Balp-Straffon · Aleksei Iancheruk · Yevhenii Sielskyi · Nikita Kozodoi · Liam Byrne · Jack Butler · Dayuan jiang · Marcin Czelej · Andrew Ang · Yash Shah · Roi Blanco · Sergey IVANOV

David Anugraha · Zilu Tang · Lester James V. Miranda · HANYANG ZHAO · Shou-Yi Hung · Mohammad Farhansyah · Garry Kuwanto · Derry Wijaya · Genta Winata

Fan Nie · Ken Liu · Zihao Wang · Rui Sun · Wei Liu · Weijia Shi · Huaxiu Yao · Linjun Zhang · Andrew Ng · James Zou · Sanmi Koyejo · Yejin Choi · Percy Liang · Niklas Muennighoff

Lang Xiong · Nishant Bhargava · Jeremy Chang · Jianhang Hong · Haihao Liu · Vasu Sharma · Kevin Zhu

Xunyi Jiang · Dingyi Chang · Xin Xu

Srivishnu Ramamurthi · Richard Xu · Raine (Qirun) Ma · Dawson Park · David Guo · Charles Duong · Vasu Sharma · Sean O'Brien · Kevin Zhu

Sohum Mehta · Saaketh Bhojanam

Ratul Saha · Dheeraj Chahal · Rekha Singhal · Manoj Nambiar

Preethi Seshadri · Hongyu Chen · Sameer Singh · Seraphina Goldfarb-Tarrant

Tatsuki Kawakami · Kazuki Egashira · Atsuyuki Miyai · Go Irie · Kiyoharu Aizawa

Daniel Jaroslawicz · Brendan Whiting · Parth Shah · Karime Maamari

Xiang Fu

Shreya Havaldar · Young Min Cho · Sunny Rai · Lyle Ungar

Djallel Bouneffouf · Matthew Riemer · Kush Varshney

Yue Zhang · Nhan Nguyen

Bohan Lyu · Siqiao Huang · Zichen Liang · Wenjia Yang · Qian Sun · Jiaming Zhang

Rohit Saxena · Pasquale Minervini · Frank Keller

Gunmay Handa · Zekun Wu · Adriano Koshiyama · Philip Treleaven

Anjiang Wei · Yuheng Wu · Yingjia (Alisa) Wan · Tarun Suresh · Huanmi Tan · Zhanke Zhou · Sanmi Koyejo · Ke Wang · Alex Aiken

Zixun Chen · Petr Babkin · Akshat Gupta · Gopala Anumanchipalli · Xiaomo Liu

Muhammed Koçyiğit

Yunxi Liu · Fuxiao Liu · Clara Fangfang

Xuying Ning · Dongqi Fu · Tianxin Wei · Mengting Ai · Jiaru Zou · Ting-Wei Li · Jingrui He

Rylan Schaeffer · Brando Miranda · Joshua Kazdan · Ken Liu · Ahmed Ahmed · Niloofar Mireshghallah · Sanmi Koyejo

Bowen (Lauren) Jiang · Zoey Hao · Young Min Cho · Bryan Li · Yuan Yuan · Sihao Chen · Lyle Ungar · Camillo Taylor · Dan Roth

Jacob Portes · Connor Jennings · Erica Yuen · Sasha Doubov · Michael Carbin

Mir Tafseer Nayeem · Sawsan Alqahtani · Md Tahmid Rahman Laskar · Tasnim Mohiuddin · M Saiful Bari

Rachel Longjohn · Shang Wu · Catarina Belém · Saatvik Kher · Padhraic Smyth

Wesley Deng · Sunnie S. Y. Kim · Akshita Jha · Kenneth Holstein · Motahhare Eslami · Lauren Wilcox · Leon Gatys

Youssef Attia El Hili · Albert Thomas · Abdelhakim Benechehab · Corentin Léger · Corinne Ancourt · Balázs Kégl

Seng Pei Liew · Takuya Kato

Joseph Liu · Yoonsoo Nam · Xinyue Cui · Swabha Swayamdipta

Kareem Shehada · Yifan Wu · Wyatt Feng · Adithya Iyer · Gryphon Kumfert · Yangruibo Ding · Zhiyun Qian

Soham Sen · Ishaan Gangwani

Syed Mahbubul Huq · Daniel Brito-Pacheco · Daniel Sikar · RAJESH MOJUMDER · Chris Child · Tillman Weyde

Mert Cemri · Melissa Z Pan · Shuyi Yang · Lakshya A Agrawal · Bhavya Chopra · Rishabh Tiwari · Kurt Keutzer · Aditya Parameswaran · Dan Klein · Kannan Ramchandran · Matei A Zaharia · Joseph Gonzalez · Ion Stoica

Elinor Poole-Dayan · Jiayi Wu · Jiaxin Pei · Michiel Bakker

Jaeho Lee · Atharv Chowdhary

Liana Patel · Negar Arabzadeh · Harshit Gupta · Ankita Sundar · Ion Stoica · Matei A Zaharia · Carlos Guestrin

Risha Surana · Qinyuan Ye · Swabha Swayamdipta

Divyanshu Kumar · Ishita Gupta · Nitin Aravind Birur · Tanay Baswa · Sahil Agarwal · Prashanth Harshangi

Arnav Goel · Pranjal Chitale · Bhawna Paliwal · Bishal Santra · Amit Sharma

Petr Simecek

Andreas Haupt · Erik Brynjolfsson

Yotam Perlitz · Ariel Gera · Ofir Arviv · Asaf Yehudai · Elron Bandel · Eyal Shnarch · Michal Shmueli-Scheuer · Leshem Choshen

Hans Gundlach · Jayson Lynch · Matthias Mertens · Neil Thompson

Jan Batzner · Volker Stocker · Stefan Schmid · Gjergji Kasneci

Ananya Raval · Aravind Narayanan · Vahid Reza Khazaie · Shaina Raza

Casey Barkan · Sidney Black · Oliver Sourbut

Riccardo Cadei · Christian Internò

Jihan Yao · Peter Jin · Ke Bao · Qiaolin Yu · Khushi Bhardwaj · Chang Su · Jialei Wang · YIKAI ZHU · Sugam Devare · Damon Mosk-Aoyama · Zhen Dong · Venkat Krishna Srinivasan · Yineng Zhang · Oleksii Kuchaiev · Jiantao Jiao · Banghua Zhu

Dylan Bouchard · Mohit Singh Chauhan

Sagarika Banerjee · Tangatar Madi · Advait Swaminathan · Anh Dao Minh Nguyen · Shivank Garg · Kevin Zhu · Vasu Sharma

Shreya Havaldar · Helen Jin · Chaehyeon Kim · Anton Xue · Weiqiu You · Gary Weissman · Rajat Deo · Sameed Khatana · Helen Qu · Marco Gatti · Daniel Hashimoto · Amin Madani · Masao Sako · Bhuvnesh Jain · Lyle Ungar · Eric Wong

Guanhua Zhang · Ricardo Dominguez-Olmedo · Moritz Hardt

Cong Tran · Issam Falih · Hatim CHAHDI · Romain DE LA SOUCHERE

Kimia Hamidieh · Lester Mackey · David Alvarez-Melis

Shruti Palaskar · Leon Gatys · Mona Abdelrahman · Gunnar Lund · Yang Xu · Navid Shiee · Jeffrey Bigham · Charles Maalouf · Joseph Y. Cheng

Pavel Rumiantsev · Soumyasundar Pal · Yingxue Zhang · Mark Coates

Ziwen Han · Meher Mankikar · Julian Michael · Zifan Wang

Jason Jackson · Terry Huang · Henry Velasquez · Kevin Zhu · Sunishchal Dev

Aashiq Muhamed · Leonardo Ribeiro · Markus Dreyer · Virginia Smith · Mona Diab

Teague McMillan · Gabriele Dominici · Martin Gjoreski · Marc Langheinrich

Maria-Eleni Zoumpoulidi · Eleni Batsi · Georgios Paraskevopoulos · Vassilis Katsouros · Alexandros Potamianos

Jiayi Yuan · Yifan Lu · Rixin Liu · Yu-Neng Chuang · Hongyi Liu · Shaochen (Henry) Zhong · Yang Sui · Guanchu Wang · Jiarong Xing · Xia Hu

Hyeonsu Kang · Emily Bao · Anjan Goswami

Patricio Gallardo · Maziar Raissi · Ke Zhang · Sudhir Murthy

Shan Chen · Pedro Moreira · Yuxin Xiao · Samuel Schmidgall · Jeremy Warner · Hugo Aerts · Tom Hartvigsen · Jack Gallifant · Danielle Bitterman

Jan Batzner · Volker Stocker · Bingjun Tang · Anusha Natarajan · Qinhao Chen · Stefan Schmid · Gjergji Kasneci

Ahmed Elboardy · Ghada khoriba · Essam Rashed

Ilham Wicaksono · Zekun Wu · Rahul Patel · Theo King · Adriano Koshiyama · Philip Treleaven

Ishaan Gangwani · Soham Sen · Aayam Bansal

Rylan Schaeffer · Ken Liu · Brando Miranda · Ahmed Ahmed · Niloofar Mireshghallah · Sanmi Koyejo

Juhyun Oh · Haneul Yoo · Alice Oh

Hiroshi Nonaka · K. E. Perry

Vaibhav Mavi · Shubh Jaroria · Weiqi Sun

Arkil Patel · Siva Reddy · Dzmitry Bahdanau

Atharva Kulkarni · Yuan Zhang · Joel Ruben Antony Moniz · Xiou Ge · Bo-Hsiang Tseng · Dhivya Piraviperumal · Swabha Swayamdipta · Hong Yu

Ziye Chen · Chengwei Qin · Yao SHU

Katie Collins · Cedegao (Ced) Zhang · Graham Todd · Lance Ying · Mauricio Barba · Ryan Liu · Adrian Weller · Ionatan Kuperwajs · Catherine Wong · Josh Tenenbaum · Tom Griffiths

Olawale Salaudeen · Florian E. Dorner · Peter Hase

Jinhao Pan · Kyle Li · Bowen Wei · Ziwei Zhu

Taslim Mahbub · Shi Feng

Shangyin Tan · Kevin Lin · Koushik Sen · Matei A Zaharia

Marcel Mateos Salles · Praney Goyal · Pradyut Sekhsaria · Hai Huang · Randall Balestriero

Linxin Song · Xuwei Ding · Jieyu Zhang · Taiwei Shi · Ryotaro Shimizu · Rahul Gupta · Yang Liu · Jian Kang · Jieyu Zhao

Smriti Singh · Shuvam Keshari · Vinija Jain · Aman Chadha

Zarreen Reza

Vishnu Vardhan Yadoji

Rom Himelstein · Amit LeVi · Yonatan Belinkov · Avi Mendelson

Yavuz Durmazkeser · Patrik Okanovic · Andreas Kirsch · Torsten Hoefler · Nezihe Merve Gürel

Abhay Gupta · Mark Klein

Bo Feng · Zhengfeng Lai · Shiyu Li · Zizhen Wang · Simon Wang · Ping Huang · Meng Cao

Guanhua Zhang · Florian E. Dorner · Moritz Hardt

Rishika Bhagwatkar · Syrielle Montariol · Angelika Romanou · Beatriz Borges · Irina Rish · Antoine Bosselut

Alyssa Unell · Natalie Dullerud · Nigam Shah · Sanmi Koyejo

Shohreh Ghorbani · Chenyu Zhang · Minsol (Michelle) Kim · Jingyao Wu

Huanxin Sheng · Xinyi Liu · Hangfeng He · Jieyu Zhao · Jian Kang

Olawale Salaudeen · Anka Reuel-Lamparth · Ahmed Ahmed · Suhana Bedi · Zachary Robertson · Sudharsan Sundar · Benjamin Domingue · Angelina Wang · Sanmi Koyejo

Andrew Zhu

Cassandra Feilbach

Zexi Li · Xiangzhu Wang · William Shen · Meghdad Kurmanji · Xinchi Qiu · Dongqi Cai · Chao Wu · Nicholas Lane

Christoph Bartmann · Mykyta Ielanskyi · Johannes Schimunek · Philipp Seidl · Günter Klambauer · Sohvi Luukkonen

Felipe Maia Polo · Leshem Choshen · Yuekai Sun · Kristjan Greenewald

İbrahim Ethem Deveci · Duygu Ataman

Roman Mayr · Michel Schimpf · Thomas Bohné

Jian Chen · Zhuoran Wang · Jiayu Qin · Ming Li · Meng Wang · Changyou Chen · Yin Chen · Qizhen Weng · Yirui Liu

Adi Banerjee · Anirudh Nair · Tarik Borogovac

Lening Cui · Sahil Ghosh · Gareth Lee · Xuanzhe Yao · Swarit Srivastava · William H. Logian · Michael Li · Kevin Zhu · Sunishchal Dev · Michael Saxon · Aaron Sandoval · Sean O'Brien · Ellie Podoshev