Если появление генеративного ИИ встревожило вас, знайте, что это не так, мы еще ничего не видели. Джинн вышел из лампы, и ему будет сложно попасть обратно. Напротив. Гонка сейчас более дикая, чем когда-либо, и шесть проектов претендуют на создание моделей ИИ, параметры которых выходят за рамки 2 триллионов. Да, Вы прочли это правильно: триллион.
Титаны искусственного интеллекта с 2 триллионами параметров
Шесть крупных проектов, претендующих на достижение отметки в 2 трлн. OpenAI, Антропный, Google/глубокий разум, Мета, проект британского правительства, до сих пор секретный. И это «смертельная» гонка: чтобы не отставать, необходимы экономические ресурсы. Много. От 1 до 2 миллиардов долларов в год, чтобы постоянно обновлять оборудование (все более прожорливое в вычислениях и энергии), нанимать сотни специалистов и удерживать лучших членов команды с миллионными зарплатами и опционами на акции.
GPT-5: Возвращение короля
Застав полмира врасплох, выпустил ракету в Google и, получив много денег от Microsoft, OpenAI уже готовит возможный нокаут. Тот, который мог бы обеспечить превосходство компании Сэма Альтмана. GPT-5 будет завершен к концу 2023 года и выпущен в начале 2024 года и будет содержать от 2 до 5 триллионов параметров.
На данный момент мы не можем представить его возможности.
Claude-Next: Anthropic и его амбициозный проект
Антропный, команда, основанная бывшими сотрудниками OpenAI, работает над моделью под названием Клод-Next, который должен быть в 10 раз мощнее существующих ИИ. Компания Anthropic рассчитывает достичь поставленных целей в течение следующих 1 месяцев, поскольку финансирование в размере 5 миллиарда долларов уже привлечено и еще 18 миллиардов долларов находится в процессе.
Их флагманской модели потребуется 10^25 флопов с использованием кластеров из десятков тысяч графических процессоров. Среди финансистов Anthropic — Google, который играет на нескольких столах.
Близнецы: Google ищет искупления с помощью Deepmind
Google и Deepmind совместно разрабатывают конкурента GPT-4 под названием Gemini. Проект стартовал совсем недавно, после того как Бард показал ди не выдержать конкуренции с ChatGPT. Gemini будет представлять собой большую языковую модель с триллионами параметров, аналогичную GPT-4 или GPT-5, и будет использовать для обучения десятки тысяч чипов Google AI TPU. Пока неизвестно, будет ли он мультимодальным.
Deepmind также разработал веб-чат-бот. Воробей, оптимизированный для обеспечения безопасности и аналогичный ChatGPT. Исследователи DeepMind обнаружили, что цитаты Воробья полезны и точны в 78% случаев. Еще одна топ-модель от DeepMind — шиншилла, обученный на 1,4 трлн параметров.
Параметры немыслимого будущего
Если вы хотите получить представление о том, что означают 2 триллиона параметров, знайте, что общий объем пригодных для использования текстовых данных в мире составляет от 4,6 до 17,2 триллиона параметров.
Все книги, научные статьи, новости, вся Википедия, общедоступный код и большая часть остального Интернета фильтруются по качеству. Цифровые человеческие знания.
По мере появления более крупных моделей будут появляться новые возможности. В течение следующих 6 лет будут усовершенствованы вычислительные мощности и алгоритмы, позволяющие масштабировать модели в тысячу раз, а то и намного больше.
Генеральный директор Nvidia предсказал, что модели ИИ в миллион раз мощнее, чем ChatGPT в течение 10 лет.
Вы представляете, что эти искусственные интеллекты сделают с нами, что они сделают с планетой? Подумайте об этом быстро. Мы здесь сейчас.
