Прекрасно о том, что суть человека и человечества - это культура.

Алексей Турчин

По-русски: новая статья от Гугла https://arxiv.org/abs/1707.02968 показала, что размер обучающего датасета важнее, чем архитектура нейросети - для ее успеха. Сделали датасет на 300 млн картинок. Это подвтерждает недавно закравшееся в меня нехорошее подозрение, что нет никакого человеческого интеллекта - а есть только воспроизведение и продолжение датасета, на котором мозг был обучен. Вся сложность мозга - не в нем, а в датасете, в культрке нашей. Отсюда следует, что создать "ИИ" в кавычках просто - надо обучить пустую, но большую сеть на большой записи воспитание ребенка - и она будет предсказывать поведение человека, то есть будет Тьюринг-полной.

Alexey Immorta Potapov Культур много, даже в рамках 1 страны, или одной образовательной системы. Есть суперкультуры даже в рамках одной лаборатории или кафедры в ВУЗе, потому что пиковые нагрузки добровольны. Кто-то должен взять на себя ярмо пиковых нагрузок и задать уровень, который постепенно теряется.

Sergej Xarkonnen а датасет который культурка наша, он откуда взялся? с неба на золотых цепях спустили? или таки людишки сами худо-бедно его нагенерили?

Vitalii Golovachov Я тешу себя надеждой, что в редкие моменты творчества интеллект создает нечто новое, чего не было в обучающей выборке и проявляет себя как сила, отличающаяся от поведения нейросети.

Sergej Xarkonnen разве для того, чтобы создавать новое, нужно непременно отличаться от нейросети?

Vitalii Golovachov хотелось бы считать себя чем-то большим)))

Sergej Xarkonnen хм. сто миллиардов нейронов, связей между ними молчу уж сколько — мало? «дайте мне таблеток от жадности, и побольше, побольше!» ?

Алексей Турчин Sergej Xarkonnen Датасет этот довольно медленно эволюционировал, так как он чудовищно устойчив. Люди тысячелетями кололи камни одним способом, и не могли придумать, что их можно, например, обкалывать с двух сторон... Потом что-то важное произошло, как с датасетом, так и наверное в мозгу. Произошло это примерно в момент появления наскальной живописи 30 000 лет назад, причем процесс ее появления был бесконечно длительным и мучительным, и длился десятки тысяч лет, начавшись с "натурального макета" - изображения животного, выложенного из его костей. А как появилась наскальная живопись, датасет сразу стал богаче - так как у него появились внешние носители. А чем богаче датасет, тем богаче обучение, и пошло усиление датасета, выраженное в его усложнении и ускорении обучения им новых людей. С появлением внешней матриальной культуры и изображений пошло обогащение датасета и его эксопоненциальный рост. Так что барахло в наших квартирах - это датасет. Сугубо ИМХО.

Sergej Xarkonnen в нулевом приближении получается, что первичное обучение шло на датасете "окружающая среда". а по достижению опр уровня сложности наши нейросети сами начали генерить датасет "культура" и на нём же и обучаться. насколько я не в курсе, пока что искусственные нейросети до второго этапа не дошли.

Vitalii Golovachov ИМХО у каждой культуры свой датасет, например был советский, со своим набором фильмов, музыки и книг, есть западный со своим Голливудом, исламский, христианский, чучхе и племени мумба-юмба. Западный оказался самым большим по объему и самым привлекательным в плане предсказательной точности.

Алексей Турчин Vitalii Golovachov Это верно, это так сказать подвиды человеческой культуры, которые воюют друг с другом. Иногда сталкиваешься с человеком из другой кульутры, и с ним ни о чем договориться невозможно.

Дмитрий Калинычев Алексей Турчин Настолько медленно эволюционировал, что о каком-то "накоплении" датасета-культурки (которого накопилась критическая масса - и бабахнула) речь вряд ли может идти. А вот мозг до верхнего палеолита развивался неуклонно, эта масса могла и бабахнуть.

Sergej Xarkonnen дрова в костре горячие, потому что горят, или дрова в костре горят, потому что горячие? примерно так же и моск с культурой ?

Алексей Турчин Dmitry Kalinychev анатомически современный человек уже существует 200 000 лет. а культурка наша от силы 10 000.

Sergej Xarkonnen пусть даже 25 000. всё равно разница на порядок.

Алексей Турчин

Вчера в 3:53 ·

It confirms my idea that human mind's secret is not in the human brain, but in training dataset for a human, that is human culture. There are several other reasons to think so:

1) Humans existed for hundred thousands years, but evolve very slowly, until they created rich culture 5000 years ago.

2) Humans brought up by animals are animals

3) Animal taught by humans are able to learn some language, like chimps and dogs.

4) Human brain is very robust to injuries and genetic variations. There is no any fragile mechanism inside.

5) To become a human one need many years of education on the complex dataset, consisting of 100 000 hours of video stream with audio, or something like 100 TB of data. ImageNet is 100 000 smaller.

6) Most people don't "think"- they repeat patterns of the culture, which sometimes looks like thinking. The same way neural net was trained to make basic math - without the understanding of math.

It means that we could easily build some primitive AGI just training very large neural net on very large dataset. The article said that architecture of net is not so important compared with the size of the training dataset. If we have full recording of a human life, we could train an AI which may predict the person next behaviour with high accuracy, and such model will be Turing complete.

Current biggest dataset (in the article - it has 300 mln images) is still 1000 times less than human grade dataset, but dataset size has grown 100 times in last 5 years, and will continue to grow. Extrapolation gives 5-7 years until human size dataset.

There is a simple trick to make very large datasets (my idea) break labeled video into frames. Humans learn to recognise images through video (seeing), which provides 25 frames a second on different angles, or like 100 000 frames in hour of labeled (by parents) home environment.

Tim Tyler

That is the thesis of this book: https://www.amazon.com/gp/product/0691166854

Источник: www.amazon.com

Комментарии: