Здравствуйте.
В таком режиме связи не будет.
Виртуальный COM порт может устанавливать соединение с удаленным каналом только по TCP IP.
Даже если вы сняли галочку "Преобразовывать в Modbus TCP", это значит что в сеть уйдут Modbus RTU пакеты и все.
На стороне сервера у вас тоже используется COM порт, что это за COM порт, mtcpCOM?
mtcpCOM работает только как мастер, т.е. TCP клиент.
Для того что бы заработал режим Modbus RTU, выставьте у COM порта опять галочку "Преобразовывать в Modbus TCP" и выставьте порт 503 к примеру.
А на сервере вместо COM6 тоже настройте на Modbus TCP с 503 портом.
В этом случае у вас на Windows 7 система будет работать как Modbus RTU, а на Windows Server как TCP
Т.е. у вас получится что первый канал работает как Modbus TCP по порту 502, а второй как Modbus RTU через COM6 используя при этом порт 503.
Айрат