Правда ли, что один нейрон может распознавать последовательности?

В HTM (иерархическая временная память), с которой мы сейчас работаем в рамках исследовательского проекта по построению самообучающихся алгоритмов распознавания, основная изюминка расположена в модуле временной группировки. Это такой алгоритм, который обучается предсказывать какой будет та или иная последовательность входных сигналов на основе предыдущих сигналов и текущего состояния (да, это похоже на большинство алгоритм предсказания, но я описал только общую суть, а разница как всегда в деталях).

Не будем останавливаться на деталях, но отметим, что алгоритм временной группировки в HTM имеет биологическое обоснование и описание его авторами приводится в терминах клеток, дендритов, синапсов и проч.

Дак вот, в HTM сказано, что для предсказания последовательностей нужно много нейронов, а один нейрон не может предсказывать последовательности.

В рассылке nupic-theory появилось сообщение от Sergey Alexashenko, который привел ссылку на работу [Branco 2010 г.], в которой нейрофизиологи экспериментально показали, что дендрит одного нейрона способен по разному реагировать на разные временные последовательности возбуждения его синапсов. Краткий пересказ статьи можно найти в журнале ScienceDaily.

В обсуждении данной статьи в nupic-theory были даны ссылки на другие работы [1, 2], описывающие Tempotron (Temporal Perceptron) и попытку составить сеть из Tempotron’ов. Отмечено, что на текущий момент не удалось построить стабильную сеть темпотронов.

В целом можно сказать, что уточнение модели работы самого нейрона является безусловно важной задачей, находящейся на стыке нейрофизиологии и программирования.

Хотелось бы обратить ваше внимание, что подобные работы — добавляющие в модель нейрона временную компоненту и учитывающие время рождения каждого спайка и временные задержки в нейронных комплексах — велись в СССР еще в 70-80х годах прошлого века. Представляю вашему вниманию 2 книги на эту тему:

1. Моделирование основных механизмов мозга (Радченко А.Н.)
2. Моделирование нейронных структур (Позин Н.В.)

Интересным также является мнение Michael Klachko, о том, что аппаратная реализация моделей нейронных сетей позволяет лучше понять причины и закономерности образования нейронных структур именно в том виде, в котором они представлены в нейрофизиологии. Аппаратная реализация предъявляет требования к энергопотреблению, скорости работы и тепловыделению — требования, которые не учитываются в программных моделях.

Надеюсь у меня будет время подробнее изучить эти вопросы и рассказать вам 🙂