Среди его многочисленных работ, внесших значительный вклад в науку, наиболее важные относятся к концу 50-х годов, когда он работал в Массачусетском технологическом институте. Именно там, в 1959 году Маккарти предложил концепцию разделения времени — режима работы компьютера, который позволяет нескольким программистам, работая за разными терминалами, одновременно использовать его память и процессор. Помимо всего прочего, это означало, что исследователи в области искусственного интеллекта получили возможность составлять и проверять экспериментальные программы непосредственно, не ожидая по нескольку часов и дней, пока их задания, заложенные среди других в пакеты перфокарт, будут обработаны единственным оператором вычислительной машины.
В области исследований искусственного интеллекта Маккарти больше всего известен тем, что ввел определение самого искусственного интеллекта, на организованной им и Марвином Мински дартмундской конференции. Также Джон в 1956—1959 году совместно со своими студентами разработал новый язык для работы со списками – LISP. Впоследствии этот язык использовался как основной для символьных вычислений.
После кратковременных должностей в Принстонском и Стэнфордском университетах, Дартмутском колледже и Массачусетском технологическом институте, он стал профессором в Стэнфорде в 1962 году, где он и оставался до своего ухода на пенсию в конце 2000 года.