No kellett neki a Cifu féle GRUB hákolás: [link]

Illetve Linux bridge-eket kellett gyártani neki.

nano /etc/network/interfaces
auto lo
iface lo inet loopback

iface enp9s0 inet manual

iface wlp8s0 inet manual

auto enp10s0
iface enp10s0 inet static
address 192.168.2.124/24

auto enp10s0d1
iface enp10s0d1 inet static
address 192.168.2.125/24

auto vmbr0
iface vmbr0 inet static
address 192.168.1.124/24
gateway 192.168.1.1
bridge-ports enp9s0
bridge-stp off
bridge-fd 0

auto vmbr1
iface vmbr1 inet static
address 192.168.2.124/24
bridge-ports ensp10s0
bridge-stp off
bridge-fd 0

Így már lehet pingelni, és lehet iperfelni rá.

Jelenleg a két portot összekötöttem egy DAC kábellel, ami 40/56-ot tud. A firmware-t nem tudtam cserélni rajta, a Mellanox közben letiltotta a firmware cserét, pedig a másikkal tudna 56-ot is a kártya. Ez van, maradt a 40...

iperf3 -B 192.168.2.125 -c 192.168.2.124
Connecting to host 192.168.2.124, port 5201
[ 5] local 192.168.2.125 port 48109 connected to 192.168.2.124 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 5.03 GBytes 43.2 Gbits/sec 0 1.44 MBytes
[ 5] 1.00-2.00 sec 5.50 GBytes 47.2 Gbits/sec 0 1.44 MBytes
[ 5] 2.00-3.00 sec 5.43 GBytes 46.6 Gbits/sec 0 1.44 MBytes
[ 5] 3.00-4.00 sec 5.47 GBytes 47.0 Gbits/sec 0 2.19 MBytes
[ 5] 4.00-5.00 sec 5.39 GBytes 46.3 Gbits/sec 0 3.31 MBytes
[ 5] 5.00-6.00 sec 5.55 GBytes 47.7 Gbits/sec 0 3.31 MBytes
[ 5] 6.00-7.00 sec 5.45 GBytes 46.8 Gbits/sec 0 3.31 MBytes
[ 5] 7.00-8.00 sec 5.47 GBytes 47.0 Gbits/sec 0 3.31 MBytes
[ 5] 8.00-9.00 sec 5.03 GBytes 43.2 Gbits/sec 0 3.31 MBytes
[ 5] 9.00-10.00 sec 5.42 GBytes 46.6 Gbits/sec 0 3.31 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 53.7 GBytes 46.2 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 53.7 GBytes 46.0 Gbits/sec receiver

iperf Done.

Szerintem szép ez így. Veszek 1-portos kártyákat a két másik gépbe, aztán rendben leszünk.