Research

研究紹介　　

視聴覚同時性判断の適応的再調整

大きな視聴覚の時間ずれに順応した後、その方向に少々のずれがあっても同時と感じるようになる、という、新しい錯覚を発見しました。また、「人間の脳は、外界からの入力に基づいた調整によって、物理的・生物学的なずれに影響されない適切な視聴覚の同時性判断を実現している」という新説を提案しました。

Fujisaki, W., Shimojo, S., Kashino, M, & Nishida, S. (2004). Recalibration of audio-visual simultaneity.Nature Neuroscience, 7(7), 773-778.

視聴覚同期・非同期弁別の時間特性

視聴覚刺激をそれぞれ単独で提示した場合には判断できる時間のずれが、刺激を繰り返し提示した場合には判断できなくなってしまうという現象を発見しました。具体的には、周期刺激の時間周波数が約4 Hzを超えると、視覚、聴覚のそれぞれの刺激内部では時間構造が明瞭に知覚できるにもかかわらず、視聴覚の対応付けができなくなってしまうことを明らかにしました。

Fujisaki, W. & Nishida, S. (2005). Temporal frequency characteristics of synchrony-asynchrony discrimination of audio-visual signals. Experimental Brain Research, 166(3-4):455-64.

視聴覚同期探索

視覚探索のパラダイムを用いて視聴覚で同期したターゲットの検出課題を行い、視聴覚の同期性が並列的には検出できないことを明らかにしました。このことは視聴覚の同時性判断が、注意資源を必要としない低次の専用メカニズムによってではなく、注意資源を必要とする比較的高次の汎用メカニズムによって行われていることを示唆しています。

Fujisaki, W., Koene, A., Arnold, D.H., Johnston, A. & Nishida, S. (2006). Visual search for a target changing in synchrony with an auditory signal. Proceedings of the Royal Society of London B: Biological Science, 273, 865-874.

顕著特徴に基づいた視聴覚の同期知覚

約4 Hzという視聴覚同期判断の低い時間限界が、時間周波数によってではなく密度によって規定されていることを明らかにしました。さらに密度が高い背景刺激の中に、密度の低い「図」となる刺激を埋め込むと、信号全体の密度は高いままであっても視聴覚の対応付けが再び可能になることを示しました。また「顕著特徴」の選択は、ボトムアップの分節化によっても、トップダウンの注意によっても可能であることを示しました。

Fujisaki, W. & Nishida, S. (2007). Feature-based processing of audio-visual synchrony perception revealed by random pulse trains. Vision Research,47(8):1075-93.
Fujisaki, W. & Nishida, S. (2008). Top-down feature-based selection of matching features for audio-visual synchrony discrimination, Neuroscience Letters, 433(3):225-30.

視聴覚・視触覚・聴触覚の同時性知覚

聴覚と触覚の組み合わせでは、視覚と触覚、視覚と聴覚の組み合わせよりも時間のずれが判りやすいことを明らかにしました。具体的には、視覚と聴覚、視覚と触覚の同期・非同期弁別閾が約4 Hzとなるのに対して、聴覚と触覚の弁別閾が約10 Hzと特異的に高くなることを発見しました。

Fujisaki, W. & Nishida, S. (2009). Audio-tactile superiority over visuo-tactile and audio-visual combinations in the temporal resolution of synchrony perception, Experimental Brain Research, Sep;198(2-3):245-59. Epub 2009 Jun 5.

絶対音感保持者の音高知覚特性

絶対音感保持の有無によって基礎的聴覚能力には差が見られないが、音楽的な音高知覚に用いられる二つの神経情報（場所情報と時間情報）の利用特性に違いがあり、絶対音感保持者は時間情報を有効に利用して音名の同定を行っていることを明らかにしました。

Fujisaki, W. & Kashino, M. (2005). Contributions of temporal and place cues in pitch perception in absolute pitch possessors. Perception and Psychophysics,67(2):315-23.
Fujisaki, W. & Kashino, M. (2002). The basic hearing abilities of absolute pitch possessors. Acoustical Science & Technology, 23(2), 77-83.

視聴覚の質感判断における統合の論理

材質のカテゴリー判断（布、石、ガラスなど）と質感的感覚属性判断（やわらかさ、軽さ、高級感など）で、統合の論理が異なることを示しました。材質のカテゴリー判断はAND-typeの情報統合、すなわち視覚と聴覚の掛け算的に決まること、一方で質感的感覚属性判断は、視覚と聴覚の重みづけ平均による情報統合が行われていることを明らかにしました。どちらの場合も独立した視覚、聴覚信号を最適（Optimal）に統合した結果と考えられます。
 

Fujisaki, W.,Goda, N., Motoyoshi, I., Komatsu, H., & Nishida, S. (2014) Audiovisual integration in the human perception of materials, Journal of Vision, vol. 14 no. 4 article 12 doi: 10.1167/14.4.12

視覚、聴覚、触覚による木の質感知覚

視覚、聴覚、触覚を用いて、同一の対象物の質感を個別に評価した場合、低次質感知覚はそれぞれ異なっていても、高次質感認知は感覚モダリティを問わず同じになるのでしょうか？このような問題を調べるために、この研究では木をターゲットオブジェクトとして、全く同じ被験者、全く同じ質問、全く同じ対象物（木の試験片）を用いて、視覚、聴覚、触覚について独立に質感評価を行って比較しました。その結果、視覚、聴覚、触覚のすべてのモダリティにおいて「高級感、希少性、洗練度」「快適性、好き嫌い」という要素が別の因子として見出されることが示されました。このことは木についての高次質感認知の全体的なパタン自体は、感覚モダリティを問わず共通であったことを示しています。
 

Fujisaki, W., Tokita, M., & Kariya, K (2015) Perception of the Material Properties of Wood based on Vision, Audition, and Touch., the Special Issue on Perception of Material Properties, Vision Research, 109, 185-200
Kanaya,S., Kariya, K., & Fujisaki, W (2016) Cross-modal correspondence between vision, audition, and touch in natural objects: an investigation of the perceptual properties of wood, Perception, 45(10), 1099-1114.

咀嚼筋電音フィードバックによる食質感の変容

 
嚥下食や介護食といった食感のない食事に、「シャキシャキ感」「ザクザク感」といった食感を、音による錯覚を用いて付与することに成功しました。このような試みは、以前からなされていましたが、音響フィードバックの時間ずれや、利用できる食品の物性上の制約が課題でした。我々は、咀嚼音そのものではなく咀嚼時の咬筋の筋電波形を音に変換したものをフィードバックするという画期的な手法を考案し、それによって咀嚼に完全に同期したフィードバック音を、あらゆる物性の食品について返すことができるようになりました。

Endo H, Ino S, Fujisaki W.(2017) Texture-dependent effects of pseudo-chewing sound on perceived food texture and evoked feelings in response to nursing care foods, Appetite, 116,493-501.
Endo H, Kaneko H, Ino S, Fujisaki W.(2017) An attempt to improve food/sound congruity using an electromyogram pseudo-chewing sound presentation, JACIII, 21(2), 342-349.
Endo H, Ino S, Fujisaki W.(2016) The effect of a crunchy pseudo-chewing sound on perceived texture of softened foods., Physiol Behav., 167:324-331.