文章信息
Yunqin, L. I., YABUKI, N., & FUKUDA, T. (2022). Measuring visual walkability perception using panoramic street view images, virtual reality, and deep learning. Sustainable Cities and Society, 104140.
论文摘要
衡量城市街道视觉步行性的感知，探索街道建筑环境的视觉特征之间的关联，使步行对人类产生吸引力，在理论上和实践上都很重要。以前的研究要么使用环境审计和主观评价，这些评价在成本、时间和测量规模方面都有局限性，要么使用基于自然街景图像（SVI）的计算机辅助审计，但在真实感知方面存在差距。在这项研究中，我们提出了一个基于虚拟现实全景图像的深度学习框架，用于测量视觉步行感知（VWP），然后量化和可视化贡献的视觉特征。首先开发了一个VWP分类深度多任务学习（VWPCL）模型，并对人类在虚拟现实中对全景SVI的评分进行了训练，以预测6个门类的VWP。其次，在语义分割的基础上，使用回归模型来确定各种物体与六个VWP类别之一的相关程度。此外，一个可解释的深度学习模型被用来协助识别和可视化那些有助于VWP的元素。该实验验证了VWPCL模型预测VWP的准确性。这些结果代表了在理解VWP和街道层面的语义和特征的相互作用方面的进一步进展。
Abstract
Measuring perceptions of visual walkability in urban streets and exploring the associations between the visual features of the street built environment that make walking attractive to humans are both theoretically and practically important. Previous studies have used either environmental audits and subjective evaluations that have limitations in terms of cost, time, and measurement scale, or computer-aided audits based on natural street view images (SVIs) but with gaps in real perception. In this study, a virtual reality panoramic image-based deep learning framework is proposed for measuring visual walkability perception (VWP) and then quantifying and visualizing the contributing visual features. A VWP classification deep multitask learning (VWPCL) model was first developed and trained on human ratings of panoramic SVIs in virtual reality to predict VWP in six cate gories. Second, a regression model was used to determine the degree of correlation of various objects with one of the six VWP categories based on semantic segmentation. Furthermore, an interpretable deep learning model was used to assist in identifying and visualizing elements that contribute to VWP. The experiment validated the accuracy of the VWPCL model for predicting VWP. The results represent a further step in understanding the interplay of VWP and street-level semantics and features.
文章下载链接
Li 等。 - 2022 - Measuring visual walkability perception using pano-已压缩.pdf
研究框架
这个框架是一个三阶段的过程：（1）VWP评价和预测，（2）解释VWP，以及（3）方法验证。
该框架不仅利用容易获得的全景街道图自动评估大尺度的VWP，而且还解释和验证评估模型，以便利益相关者能够信任模型的决定，并根据建筑环境的特点，对街道的步行能力进行检测、设计或更新。
具体来说，首先开发了一个VWPCL模型，并在VR系统中对人类对360度全景SVI的评价进行了训练，以预测街道层面的VWP的六个类别（可行走性、可行性、可进入性、安全性、舒适性和愉悦性）。这种方法能够预测新地区的这六个VWP类别。其次，为了研究和解释 "哪些视觉元素影响视觉步行感知"，对整体数据进行了统计分析，对个别数据进行了 "视觉解释 "分析。对于前者，线性回归模型与将VSIs细分为19个物体类别相结合，并用于确定各种物体与六个VWP类别之一的相关程度。对于后者，我们引入了Grad-CAM，一个可解释的深度学习模型，以协助识别和可视化街道建筑环境中有助于不同VWP类别的元素。第三，为了验证我们的方法，我们通过对一所匿名大学校园的实地调查收集了现场的VWP数据，以及基于VR的VWP评估中关于识别贡献对象的问卷数据。这些数据分别用于验证开发的VWPCL模型和Grad-CAM模型。
本研究使用了三个数据源：(1)带有VWP分数的VR全景SVIs被用作VRVWPR数据集来训练VWPCL模型以预测VWP分数；(2)现场VWP的SVIs和实地调查数据被用来预测和验证基于提议的VWPCL模型的VWP分数；(3)基于VR的VWP评价中的贡献对象识别问卷数据被用来验证基于Grad-CAM模型的视觉解释结果。
在游戏引擎中进行球体映射后，SVI数据被存储在一个数据库中，并与HMD设备相连，为视觉行走能力的感知评分做准备。在HMD设备中，评分者会看到从整个数据库中随机选择的两个全景SVI，他们可以使用VR控制器在360度的全景SVI中漫游。然后要求评分者在回答上图中的六个问题时选择其中一个SVIs或将其识别为 "相等"，而不受决策时间和图像切换机会的限制。"哪个地方看起来更适合步行？"和 "哪个地方看起来更适合步行？"这里的X可以指 "可行"、"可及"、"安全"、"舒适 "或 "愉悦"。这六个问题与VWP的六个类别相对应。评级是基于直接感知，没有应用差异阈值来决定相等的评级值。
上图显示了在六个VWP类别中具有高、中、低分数的Grad-CAM结果样本，其中贡献的视觉区域在图像中被强调。与上一节所述的逐步回归结果类似，绿化，如行道树和草坪，在步行能力的高分结果和愉悦性的高分结果中被激活，表明 "植被 "和 "地形 "对 "步行能力 "和 "愉悦性 "的积极影响更大。没有人行道的街道在可及性方面的得分较低，而路障在可及性方面的得分中等，表明 "人行道 "和 "路障 "对 "可及性 "的重要影响。人行横道和一些交通标志是对应安全属性的积极视觉元素。
研究贡献和未来工作
一个街区的VWP会影响其居住者的行走行为和身心健康。一些研究已经使用原始的SVIs来测量人类对大规模城市地区的感知。然而，基于浏览器的自然SVIs评估和现场审核之间的差异，以及深度学习的黑箱工作机制，使得审核大量的SVIs数据更接近实际的视觉行走体验，准确分析街景元素，以及理解和信任机器学习的感知分类结果成为挑战。
在这项研究中，我们采用了一种基于VR全景图的定量方法，以自动、高效、准确的方式测量人类对街道建筑环境的视觉步行能力的感知。我们开发了VRVWPR数据集和VWPCL模型，可作为评估和预测六类新区域的VWP的工具。其次，多变量逐步线性回归分析与语义分割算法相结合，用于识别强烈影响人类VWP的视觉元素。此外，一个可解释的深度学习方法被用来理解图像中的高级信息，并更好地理解人类对建筑环境的感知。最后，我们验证了VWPCL模型结果和基于现场审计的Grad-CAM模型结果。
我们发现，在街道建筑环境中，城市绿化和人行道总是引起正面的VWP感知，而卡车和摩托车则是负面元素，这与相关领域的文献一致。逐步回归的结果可以揭示视觉元素和VWP效应的大趋势，而Grad-CAM的结果可以揭示出回归结果中难以揭示的可能的潜在的重要视觉特征。
本研究提出的框架包括观察、感知、审核和理解街道建筑环境，并基于全景SVI的大数据预测主观感受，作为一种新的范式。研究结果支持了以街道步行能力为导向的街区设计的理论和实践。
本研究还证明了使用VR全景SVIs和机器学习方法了解人们如何感知场所物理环境的视觉步行价值的可靠性，这可以帮助研究人员了解潜在的街景元素特征对VWP的影响，同时也为以步行能力和智慧城市建设为目标的街道建筑环境的人性化和量化研究提供了基础。
未来的工作包括基于球形CNN的VWPCL模型，基于眼动仪的方法验证，以及为语义分割模型定制的训练数据集。