这是我的问题:
我无法从 pci-e 桥后面的可预取端点设备获取 BAR 寻址。任何人都可以帮助我吗?
这是我到目前为止所做的:
1-我能够在没有网桥的情况下获得可预取 pci-e 设备的地址。但我无法读/写这个空间。
2-我可以在没有网桥的情况下获得不可预取的 pci-e 设备的地址。我可以成功读/写这个空间。
3- 我无法获得网桥后面单个可预取设备的地址。
4- 我能够获得网桥后面多个不可预取设备的地址。我也可以读/写他们。
5- 我无法获得桥后一台可预取设备和一台不可预取设备的地址。在这个位置上,我也无法获得可用于上述试验的不可预取的。
我的怀疑是:
我已经使用两个不同的根复杂设备验证了这些测试以实现这些结果,它们都是内核版本 4.9,所以我很确定这个问题与内核有关。
提前感谢您的时间。
编辑:
当我使用 lspci 时,我可以获得上面我使用过的所有设备的供应商 ID、设备 ID 和设备类型。当我的意思是我无法获得 BAR 地址时,我只是指出虚拟内存映射不会出现在 lspci -vv 输出中。
对于我的读写,我使用 memtool,它是一个简单的 C 程序,可以读取和写入字节到给定的内存。
需要出现在 /sys/bus/pci_express/devices 中的与我提到的设备相关的文件没有出现在失败的情况下。
当我检查 dmesg 是否有任何相关消息时,这里是相关消息:
[ 2.496007] pci 0000:03:00.0: [104c:b005] type 00 class 0x048000
[ 2.496065] pci 0000:03:00.0: reg 0x10: [mem 0x00000000-0x007fffff]
[ 2.496099] pci 0000:03:00.0: reg 0x14: [mem 0x00000000-0x007fffff pref]
[ 2.496268] pci 0000:03:00.0: Max Payload Size set to 128 (was 256, max 256)
[ 2.496605] iommu: Adding device 0000:03:00.0 to group 59
[ 2.496610] arm-smmu: forcing sodev map for 0000:03:00.0
[ 2.510188] pci 0000:03:00.0: BAR 0: no space for [mem size 0x00800000]
[ 2.510192] pci 0000:03:00.0: BAR 0: failed to assign [mem size 0x00800000]
[ 2.510196] pci 0000:03:00.0: BAR 1: no space for [mem size 0x00800000 pref]
[ 2.510200] pci 0000:03:00.0: BAR 1: failed to assign [mem size 0x00800000 pref]
[ 2.510942] pci 0000:03:00.0: Signaling PME through PCIe PME interrupt
[ 2.497054] pci 0000:04:00.0: [1172:e001] type 00 class 0xff0000
[ 2.497114] pci 0000:04:00.0: reg 0x10: [mem 0x00000000-0x03ffffff]
[ 2.497691] iommu: Adding device 0000:04:00.0 to group 60
[ 2.497696] arm-smmu: forcing sodev map for 0000:04:00.0
[ 2.510254] pci 0000:04:00.0: BAR 0: no space for [mem size 0x04000000]
[ 2.510259] pci 0000:04:00.0: BAR 0: failed to assign [mem size 0x04000000]
[ 2.510949] pci 0000:04:00.0: Signaling PME through PCIe PME interrupt
设备 0000:03:00.0 是可预取的,04 是不可预取的。在 dmesg 中,它说我没有空间给它们,但我知道我正在使用的卡(Nvidia Jetson TX2)有 127 MB 的空间用于不可预取的设备,896 MB 的空间用于可预取的设备。我尝试的设备有 8 MB + 8 MB 可预取内存和 64 MB 不可预取内存。
顺便说一句,感谢您的编辑建议,我意识到在编辑问题时我的细节太少了。
这是我的 pcie 交换机的 dmesgs:01:00.0 是我的上游端口,而另外两个是下游端口。
[ 2.472535] pci 0000:01:00.0: [111d:808c] type 01 class 0x060400
[ 2.472856] pci 0000:01:00.0: PME# supported from D0 D3hot D3cold
[ 2.473055] iommu: Adding device 0000:01:00.0 to group 56
[ 2.473060] arm-smmu: forcing sodev map for 0000:01:00.0
[ 2.481784] pci 0000:01:00.0: bridge configuration invalid ([bus 00-00]), reconfiguring
[ 2.486074] pci 0000:01:00.0: BAR 14: no space for [mem size 0x08000000]
[ 2.486078] pci 0000:01:00.0: BAR 14: failed to assign [mem size 0x08000000]
[ 2.486221] pci 0000:01:00.0: PCI bridge to [bus 02-04]
[ 2.486589] pci 0000:01:00.0: Signaling PME through PCIe PME interrupt
[ 2.482057] pci 0000:02:08.0: [111d:808c] type 01 class 0x060400
[ 2.482419] pci 0000:02:08.0: PME# supported from D0 D3hot D3cold
[ 2.482798] iommu: Adding device 0000:02:08.0 to group 57
[ 2.482807] arm-smmu: forcing sodev map for 0000:02:08.0
[ 2.483622] pci 0000:02:08.0: bridge configuration invalid ([bus 00-00]), reconfiguring
[ 2.486090] pci 0000:02:08.0: BAR 14: no space for [mem size 0x01000000]
[ 2.486093] pci 0000:02:08.0: BAR 14: failed to assign [mem size 0x01000000]
[ 2.486114] pci 0000:02:08.0: PCI bridge to [bus 03]
[ 2.486592] pci 0000:02:08.0: Signaling PME through PCIe PME interrupt
[ 2.482957] pci 0000:02:10.0: [111d:808c] type 01 class 0x060400
[ 2.483284] pci 0000:02:10.0: PME# supported from D0 D3hot D3cold
[ 2.483475] iommu: Adding device 0000:02:10.0 to group 58
[ 2.483480] arm-smmu: forcing sodev map for 0000:02:10.0
[ 2.483650] pci 0000:02:10.0: bridge configuration invalid ([bus 00-00]), reconfiguring
[ 2.486083] pci 0000:02:10.0: BAR 14: no space for [mem size 0x04000000]
[ 2.486087] pci 0000:02:10.0: BAR 14: failed to assign [mem size 0x04000000]
[ 2.486170] pci 0000:02:10.0: PCI bridge to [bus 04]
[ 2.486598] pci 0000:02:10.0: Signaling PME through PCIe PME interrupt
我在那里看到一条配置无效消息,但是当我再次将设置切换到实验 2 时,仍然出现该无效配置消息,我不确定这是问题所在。
我的意思是,
bridge configuration invalid
并且BAR 14
(而不是 BAR 1 或一些合理的数字),并且没有空间已经听起来像桥完全损坏了,或者至少它呈现给操作系统的配置是垃圾。但是如果桥是可编程的,它可能会解决这个问题......