Нейробиологи воссоздали динамические зрительные образы, возникавшие в голове во время просмотра случайно отобранных видеороликов. В будущем такая технология поможет медикам наблюдать на экране галлюцинации пациентов, а богатым чудакам — выкладывать свои сны на YouTube...
Фантастический результат получен в Калифорнийском университете в Беркли: испытуемым показывали разные ролики с YouTube (фрагменты кинолент, трейлеры и прочее), в то время как магнитно-резонансный томограф детально записывал активность клеток в различных частях зрительной коры. По этой информации учёные сумели реконструировать просмотренные кадры в цвете и динамике.
Для начала исследователи записали картину мозговой активности при просмотре ряда трейлеров голливудских фильмов. Биологи построили трёхмерную компьютерную модель мозга с группами клеток (вокселями) и записали, как каждый воксель реагирует на изменение форм и движение предметов на экране. Так удалось получить грубое соответствие визуальной информации и процесса её обработки в коре мозга.
Для тестирования и доводки алгоритма учёные скормили ему тысячи часов от миллионов случайно взятых роликов со всё того же сервиса YouTube, получив на выходе обратный результат — смоделированную активность мозга, которая наблюдалась бы, если человек просматривал бы эти ролики.
Наконец, алгоритм снова обратили. При просмотре людьми в томографе тестового видео компьютер подбирал из Сети 100 роликов, которые с наибольшей вероятностью должны были вызвать именно такую картину активности клеток. Далее секунда за секундой программа смешивала кадры из этих роликов, получая размытое результирующее кино, неплохо совпадавшее с тем, что человек наблюдал в реальности.
TRANSLATION
Neuroscientists have recreated the dynamic visual images that arose in the head while watching a randomly selected video clips. In the future, this technology will help doctors monitor patients on the screen hallucinations, and a rich eccentric - to spread their dreams on YouTube.
Fantastic result was obtained in the University of California at Berkeley: the subjects showed different clips from YouTube (fragments of films, trailers, etc.), while magnetic resonance imaging recorded in detail the activity of cells in different parts of the visual cortex. With this information, researchers were able to reconstruct the images viewed in color and dynamics.
For a start, researchers recorded the brain activity pattern when viewing a series of trailers of Hollywood films. Biologists have constructed a three-dimensional computer model of the brain from groups of cells (voxels) and recorded how each voxel responds to changes in form and movement of objects on the screen. So managed to get a rough correspondence of visual information and of its processing in the cortex.
In order to test and fine-tuning of the algorithm, scientists fed him thousands of hours of millions of randomly taken from the rolls of the same service YouTube, the output is the opposite result - modeled the brain activity that would be observed if a person looked to these videos.
Finally, the algorithm is again drawn. When you view the people in the computer tomograph of a test video from the web picking up 100 spots, which are most likely had to call it a picture of activity in the cells. Next, second by second program to mix images from these commercials, getting blurred the resulting movie, a good coincided with the fact that people saw in reality.
