鱼眼相机在拥有大视场的情况下会出现图像失真。而这一事实导致了某些鱼眼视觉任务的性能不佳。解决方案之一是优化当前的鱼眼图像的视觉算法。然而,大多数基于CNN的方法和基于变换器的方法缺乏有效利用变形信息的能力。在这项工作中,我们提出了一种新的补丁嵌入方法,称为扇形补丁嵌入(SPE),符合鱼眼图像的失真模式。此外,我们提出了一个基于ImageNet-1K的合成鱼眼数据集,并探讨了几个Transformer模型在该数据集上的表现。通过SPE,ViT和PVT的分类top-1精度分别提高了0.75%和2.8%。实验表明,所提出的扇形补丁嵌入方法可以更好地感知失真并提取鱼眼图像的特征。我们的方法可以很容易地应用于其他基于变换器的模型。