Если появление генеративного ИИ вызвало у вас тревогу, знайте, что это не так, мы еще ничего не видели. Джинн вырвался из бутылки, и ему будет сложно снова в нее залезть. Напротив. Гонка стала еще более дикой, чем когда-либо, и шесть проектов борются за создание моделей ИИ, параметры которых превышают 2 триллиона. Да, Вы прочли это правильно: триллион.
Титаны ИИ с 2 триллионами параметров
Шесть крупных проектов, претендующих на достижение отметки в 2 трлн. OpenAI, Антропный, Google/глубокий разум, Мета, проект британского правительства, который до сих пор является секретным. И это «смертельная» гонка: чтобы не отставать, нужны экономические ресурсы. Много. От 1 до 2 миллиардов долларов в год, чтобы постоянно обновлять железо (все более прожорливое в расчетах и энергии), нанимать сотни специалистов и удерживать лучших членов команды с миллионными зарплатами и опционами на акции.
GPT-5: Возвращение короля
Застав полмира врасплох, выпустил ракету в Google и получил много денег от Microsoft, у OpenAI уже есть возможный нокаут в работах. Тот самый, который мог обеспечить превосходство компании Сэма Альтмана. GPT-5 будет завершен к концу 2023 года и выпущен в начале 2024 года с количеством параметров от 2 до 5 трлн.
На данный момент мы не можем представить его возможности.
Claude-Next: Anthropic и его амбициозный проект
Антропный, команда, основанная бывшими сотрудниками OpenAI, работает над моделью под названием Клод-Next, который должен быть в 10 раз мощнее существующих ИИ. Компания Anthropic рассчитывает достичь поставленных целей в течение следующих 1 месяцев, поскольку финансирование в размере 5 миллиарда долларов уже привлечено и еще 18 миллиардов долларов находится в процессе.
Их флагманская модель потребует 10^25 FLOP с использованием кластеров, состоящих из десятков тысяч графических процессоров. Google является одним из спонсоров Anthropic, играя за несколькими столами.
Близнецы: Google ищет искупления с помощью Deepmind
Google и Deepmind совместно разрабатывают конкурента GPT-4 под названием Близнецы. Проект стартовал совсем недавно, после того как Бард показал ди не выдержать конкуренции с ChatGPT. Gemini будет большой языковой моделью с триллионами параметров, аналогичной GPT-4 или GPT-5, и будет использовать для обучения десятки тысяч чипов Google AI TPU. Пока неизвестно, будет ли он мультимодальным.
Deepmind также разработал веб-чат-бот. Воробей, оптимизированный для обеспечения безопасности и аналогичный ChatGPT. Исследователи DeepMind обнаружили, что цитаты Воробья полезны и точны в 78% случаев. Еще одна топ-модель от DeepMind — шиншилла, обученный на 1,4 трлн параметров.
Параметры немыслимого будущего
Если вы хотите получить представление о том, что означают 2 триллиона параметров, знайте, что оценка общего объема пригодных для использования текстовых данных в мире составляет от 4,6 триллиона до 17,2 триллиона параметров.
Все книги, научные статьи, новости, вся Википедия, общедоступный код и большая часть остального Интернета, отфильтрованные по качеству. Цифровое человеческое знание.
По мере появления более крупных моделей будут появляться новые возможности. В течение следующих 6 лет будут усовершенствованы вычислительные мощности и алгоритмы, позволяющие масштабировать модели в тысячу раз, а то и намного больше.
Генеральный директор Nvidia предсказал, что модели ИИ в миллион раз мощнее, чем ChatGPT в течение 10 лет.
Вы представляете, что эти искусственные интеллекты сделают с нами, что они сделают с планетой? Подумайте об этом быстро. Мы здесь сейчас.
