Статистическая механика нейронных сетей

В наши дни под словосочетанием нейронная сеть чаще всего понимается нейронная сеть с прямой связью (feed-forward). Однако на заре нейросетей, в восьмидесятые годы, не было уверенности, что именно такие сети будут самыми распространёнными, поэтому много исследований проводилось, например, для циклических нейросетей.

В докладе по мотивам статьи "Statistical Mechanics Of Neural Networks" автора Haim Sompolinsky из Racah Institute of Physics of the Hebrew University of Jerusalem, опубликованной в журнале Physics Today в 1988 году (Sompolinsky H. Statistical mechanics of neural networks //Physics Today. – 1988. – Т. 41. – №. 21. – С. 70-80.), будут рассмотрены статистические закономерности таких циклических сетей.

В первой части доклада поговорим о том, как в те времена понимали нейронные сети, какие были их характеристики, и что понимали под памятью нейронов. В современных исследованиях значительных изменений не наблюдается, однако всё равно любопытно взглянуть на идеи учёных 35 лет назад и сравнить их подход к пониманию нейросетей с современным подходом.

Во второй части доклада углубимся в конкретные виды циклических нейронных сетей, называющимися моделями Хопфилда и Уилшоу, а также поговорим о несимметричных синапсах (между нейронами могут быть двунаправленные связи - симметричные и несимметричные)

В конце обсудим возможные оптимизации таких сетей, а также поговорим о статистических закономерностях в них. А также взглянем с высоты современности на вызовы, которые ставят авторы статьи в заключении, например: "It is also not clear to which level of organization in the nervous system these models apply".

Спикер: Филатов Антон Юрьевич, ассистент каф. МОЭВМ СПбГЭТУ "ЛЭТИ"

Мероприятие пройдет в zoom. Ссылка на подключение будет выслана не менее чем за 1 час до начала события.