Системные процессы машинного обучения кажутся, что люди делают: Нейробиологи обучают глубокую нейронную сеть анализировать речь и музыку

Эта модель, которая складывается из многих слоев единиц обработки информации, каковые смогут быть научены на огромных количествах данных выполнить определенные задачи, употреблялась исследователями, чтобы пролить свет на то, как человеческий мозг может делать те же самые задачи.«Что эти модели дают нам, в первоначальный раз, машинные совокупности, каковые смогут выполнить сенсорные задачи, каковые имеют значение для людей и каковые делают так на людских уровнях», говорит Джош Макдермотт, доцент Фредерика А. и Кэрол Дж.

Миддлтон Нейробиологии в Отделе Мозговой и Когнитивистики в MIT и ведущем авторе изучения. «Исторически, этот тип сенсорной обработки пришлось нелегко понять, частично по обстоятельству того, что у нас в самом деле не было очень ясного теоретического фонда и хорошего способа создать модели того, что имело возможность бы продолжаться».Изучение, которое появляется в выпуске 19 апреля Нейрона, также предлагает доказательства, что людская слуховая кора устроена в иерархической организации, во многом как зрительная территория коры головного мозга.

В этом типе договоренности сенсорная информация проходит через последовательные стадии обработки с обработанными более ранними и более преимуществами основной информации, такими как значение слова, извлеченное на более поздних стадиях.Аспирант MIT Александр Келл и доцент Стэнфордского университета Дэниел Яминс – ведущие авторы газеты. Другие авторы – бывший MIT, посещающий студентку Эрику Шук и бывший MIT postdoc Сэм Норман-Хэйгнер.Моделирование мозга

В то время, в то время, когда глубокие нейронные сети были вначале развиты в 1980-х, нейробиологи сохраняли веру, что такие совокупности имели возможность употребляться, чтобы смоделировать человеческий мозг. Но компьютеры с той эры не были достаточно превосходны, чтобы выстроить модели, громадные, чтобы выполнить настоящие задачи, такие как распознавание объектов или распознавание речи.За прошлые пять лет удачи в вычислительной мощности и технологии нейронной сети дали применять нейронные сети, чтобы выполнить тяжёлые настоящие задачи, и они стали стандартным подходом во многом техническом применении.

Параллельно, кое-какие нейробиологи пересмотрели возможность, что эти совокупности имели возможность бы употребляться, чтобы смоделировать человеческий мозг.«Это было потрясающей возможностью для нейробиологии, в которой мы можем в конечном итоге создать совокупности, каковые смогут сделать кое-какие вещи, каковые смогут сделать люди, и мы можем тогда опросить модели и сравнить их с мозгом», говорит Келл.Исследователи MIT обучили собственную нейронную сеть делать две слуховых задачи, одну обращение вовлечения и другую музыку вовлечения. Для речевой задачи исследователи дали модели тысячи двухсекундных записей человека, говорящего.

Задача была в том, дабы узнать слово среди клипа. Для музыкальной задачи модель попросили узнать жанр двух вторых клипов музыки. Любой клип также включал фоновый шум, чтобы сделать задачу более реалистичной (и более тяжёлый).

По окончании многих тысяч примеров модель обучалась делать задачу так же совсем правильно как людская слушатель.«Идея – со временем модель, поправляется и лучше в задаче», говорит Келл. «Надежда пребывает в том, что это изучает что-то общее, исходя из этого если Вы представите новый звук, что модель никогда не слышала прежде, это преуспеет, и на практике что частенько имеет место».Модель также имела тенденцию делать неточности на тех же самых клипах, на которых люди сделали большинство неточностей.Единицы обработки, каковые составляют нейронную сеть, смогут быть объединены во множестве дорог, формируя различную архитектуру, которая затрагивает исполнение модели.

Команда на данный момент осознала, что лучшая модель для этих двух задач была той, которая поделила обработку на два набора стадий. Первый набор стадий был разделен между задачами, но после этого, он разделился на два отделения для грядущего анализа – одно отделение для речевой задачи, и один для музыкальной задачи жанра.

Доказательства иерархииИсследователи тогда использовали собственную модель, чтобы изучить давешний вопрос о структуре слуховой коры: организовано ли это иерархически.В иерархической совокупности серия отделов головного мозга делает различные типы вычисления на сенсорной информации, в то время, в то время, когда это течет через совокупность.

Это было замечательно зарегистрировано, что у зрительной территории коры головного мозга имеется этот тип организации. Более ранние регионы, известные как первичная зрительная кора, отвечают на простые изюминки, такие как цвет или ориентация. Более поздние стадии разрешают более сложные задачи, такие как распознавание объектов.Но пришлось нелегко проверить, существует ли этот тип организации также в слуховой коре, частично по обстоятельству того, что не было хороших моделей, каковые смогут копировать человеческое слуховое поведение.

«Мы пологали, что, если мы имели возможность бы выстроить модель, которая имела возможность бы сделать часть того же самого, которое делают люди, мы имели возможность бы тогда быть в состоянии сравнить различные стадии модели к различным частям мозга и забрать кое-какие доказательства того, имели возможность ли бы те части мозга быть иерархически организованы», говорит Макдермотт.Исследователи нашли, что в их модели, главные чёрта звука, такие как частота легче извлечь на ранних стадиях.

Вследствие того что информация обработана и перемещается дальше в течении сети, делается более не легко извлечь частоту, но легче извлечь высокоуровневую эти, такую как слова.Чтобы видеть, имели возможность ли бы примерные стадии копировать, как людская слуховая кора обрабатывает звуковую эти, исследователи использовали функциональную магнитно-резонансную томографию (fMRI), чтобы измерить различные области слуховой коры, вследствие того что мозг обрабатывает настоящие звуки.

Они тогда сравнили мозговые ответы на ответы в модели, в то время, в то время, когда она обработала те же самые звуки.Они нашли, что средние стадии модели соответствовали оптимальнее деятельности в основной слуховой коре, и более поздние стадии соответствовали оптимальнее деятельности за пределами основной коры. Это мнит свидетельства, что слуховая кора имела возможность бы быть устроена иерархическим способом, подобным зрительной территории коры головного мозга, говорят исследователи.

«Что мы видим, очень светло различие между основной слуховой корой и всем остальным», говорит Макдермотт.Авторы на данный момент планируют разработать модели, каковые смогут выполнить другие типы слуховых задач, такие как определение размещения, от которого конкретный звук прибыл, чтобы изучить, смогут ли эти задачи быть сделаны дорогами, определенными в данной модели или если они требуют отдельных дорог, каковые имели возможность бы тогда быть изучены в мозгу.

Блог обо всем на земле