Илон Маск и Илья Суцкевер заявили, что компании, работающие над искусственным интеллектом, столкнулись с нехваткой данных для обучения генеративных моделей. Это ставит под угрозу дальнейшее развитие технологий, так как совокупный объём человеческих знаний уже почти исчерпан.
В разговоре в соцсети X Маск отметил, что пик данных был достигнут ещё в прошлом году. Суцкевер подтвердил это на мероприятии Neurips, подчеркнув, что возможности для обучения ИИ на новых данных становятся крайне ограниченными. В этой ситуации компании рассматривают синтетические данные, сгенерированные самими моделями, как возможное решение.
"Мы уже практически исчерпали совокупный объем человеческих знаний в области обучения ИИ."
- Илон Маск
Однако исследования показали, что обучение моделей на синтетических данных приводит к снижению их эффективности. Учёные из Стэнфорда и Университета Райса обнаружили, что после пяти циклов обучения на данных, созданных ИИ, модели теряют точность и стабильность.
Проблемы с обучением уже ощущают ведущие компании: OpenAI испытывает трудности с моделью Orion, а Google и Anthropic столкнулись с замедлением прогресса своих разработок.
Ранее Маск и Сэм Альтман заявляли, что ИИ вскоре может превзойти интеллект человека, но кризис данных ставит под вопрос эти прогнозы. Сегодняшний вызов требует новых решений для сохранения и развития потенциала искусственного интеллекта.
