Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Обсуждаем OS FreeBSD и сервисы на ней.

Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение ApmeM » 21 янв 2013, 12:15

День добрый. в продолжении http://subnets.ru/forum/viewtopic.php?f=6&t=479.
В данный момент имеются два сервера доступа под управлении freebsd9.
Код: Выделить всё
[root@nas-1 /]# uname -a
FreeBSD nas-1.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012     root@nas-4:/usr/obj/usr/src/sys/NAS  amd64

и
Код: Выделить всё
[root@nas-4 /]# uname -a
FreeBSD nas-4.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012     root@nas-4:/usr/obj/usr/src/sys/NAS  amd64

на обоих серверах установлены сетевые интел, на сетевых два порта связаны через lacp и включены в агрегацию.
еще два порта, также связаны в lacp, и включены в корень сети.
Две недели оба сервера проработали нормально. после чего, с разницей в сутки, перестали отвечать на внешние разражители (ping, ssh и т.д.)
включившись в сервер напрямую увидел, что сервера живу, но пинг на адреса соседних серверов не проходит. зато есть ответ от самого себя.
вот интерфейсы одного из серверов

Код: Выделить всё
[root@nas-4 /]# ifconfig lagg1
lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
   ether 90:e2:ba:08:90:00
   inet 10.100.100.64 netmask 0xffffff00 broadcast 10.100.100.255
   media: Ethernet autoselect
   status: active
   laggproto lacp
   laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
   laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
[root@nas-4 /]# ifconfig lagg0
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
   ether 90:e2:ba:08:8f:a0
   inet 10.100.110.64 netmask 0xffffff00 broadcast 10.100.110.255
   media: Ethernet autoselect
   status: active
   laggproto lacp
   laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
   laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

Через несколько дней ожидаю подобного поведения.
Собственно вопрос - на что обратить внимание при вознокновении проблемы? Игде можно поискать проблему до падения интерфейсов?
в догонку некоторая информация


Код: Выделить всё
[root@nas-1 /]# cat /boot/loader.conf
hw.igb.rxd=2048
hw.igb.txd=2048
hw.igb.max_interrupt_rate=32000

net.graph.maxdata=65536
net.graph.maxalloc=65536

#net.link.ether.inet.log_arp_permanent_modify=0
#net.link.ether.inet.log_arp_movements=0
#net.link.ether.inet.log_arp_wrong_iface=0
#net.link.log_link_state_change=0
#net.link.ether.inet.max_age=60

kern.maxfiles=50000
net.inet.tcp.tcbhashsize=4096
## DADV TUNING
# for other protocols (IP & PPPoE?)
net.isr.defaultqlimit=4096

# default outgoing interface queue length
# used by lagg etc.
net.link.ifqmaxlen=10240


Код: Выделить всё
root@nas-1 /]# cat /etc/sysctl.conf | grep -v '#'

kern.ipc.somaxconn=1024
kern.ipc.maxsockbuf=83886080
kern.ipc.maxsockets=131072
net.inet.ip.intr_queue_maxlen=5000
net.inet.ip.intr_queue_drops=0
net.inet.ip.redirect=0
net.inet.ip.fw.one_pass=0
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.bmcastecho=1
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
kern.ipc.nmbclusters=131072
net.link.ether.inet.log_arp_permanent_modify=0
net.link.ether.inet.log_arp_movements=0
net.link.ether.inet.log_arp_wrong_iface=0
net.link.log_link_state_change=0

net.inet.ip.dummynet.hash_size=512

dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096
dev.igb.2.rx_processing_limit=4096
dev.igb.3.rx_processing_limit=4096
[root@nas-1 /]#

/etc/sysctl.conf и /boot/loader.conf одинаковы на обоих серверах.
ApmeM
новичок
 
Сообщения: 20
Зарегистрирован: 11 сен 2012, 16:00

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение Андрей » 21 янв 2013, 13:42

ApmeM писал(а): Игде можно поискать проблему до падения интерфейсов?

Код: Выделить всё
dmesg
В нем ничего нет?
.ı|ı..ı|ı.
Андрей
местный житель
 
Сообщения: 1028
Зарегистрирован: 14 янв 2009, 13:37
Откуда: Оренбургская область

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение ApmeM » 21 янв 2013, 14:40

на данный момент имею

Код: Выделить всё
Limiting icmp ping response from 4372 to 200 packets/sec
Limiting icmp ping response from 3858 to 200 packets/sec
ApmeM
новичок
 
Сообщения: 20
Зарегистрирован: 11 сен 2012, 16:00

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение root » 22 янв 2013, 07:54

что в логах девайса куда воткнуты линки ?
У тебя на сетевухах установлен autoselect - выстави жестко гигабит/фул-дуплекс с обоих сторон. Не редко когда именно автоселект вызывает подобные проблемы.
в /var/log/messages что ?

ApmeM писал(а):пинг на адреса соседних серверов не проходит

а что с ARP`ом этих адресов в этот момент ?
трафик+ pps на сетевухах в этот момент ?

Можно попробовать вот эти парамы:
Код: Выделить всё
net.isr.direct=0
net.isr.direct_arp=1
dev.igb.0.enable_lro=0
dev.igb.1.enable_lro=0
dev.igb.2.enable_lro=0
dev.igb.3.enable_lro=0


Так же поэксперементировать с:
Код: Выделить всё
/sbin/ifconfig lagg0 -rxcsum -tso up
/sbin/ifconfig lagg1 -rxcsum -tso up


Ну и поиграться этими:
Код: Выделить всё
net.inet.ip.intr_queue_maxlen
net.route.netisr_maxqlen
net.isr.maxthreads
С уважением, root

Изображение
------------
www.mega-net.ru - IT аутсорсинг
Аватара пользователя
root
Site Admin
 
Сообщения: 1867
Зарегистрирован: 11 июн 2008, 13:05
Откуда: Moscow, Russia

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение ApmeM » 22 янв 2013, 10:50

Ситуация повторилась. Из того что смог собрать имеем
vmstat -i
Код: Выделить всё
cat vmstat_i
interrupt                          total       rate
irq1: atkbd0                         470          0
irq19: atapci0+                   284389          1
cpu0:timer                     735676729       4125
irq256: igb0:que 0            1457745803       8175
irq257: igb0:que 1             800507636       4489
irq258: igb0:que 2             807761392       4530
irq259: igb0:que 3             785494367       4405
irq260: igb0:link                      5          0
irq261: igb1:que 0             724194185       4061
irq262: igb1:que 1             785460063       4405
irq263: igb1:que 2             814790888       4569
irq264: igb1:que 3             798485468       4478
irq265: igb1:link                      6          0
irq266: igb2:que 0            1160194143       6506
irq267: igb2:que 1                870937          4
irq268: igb2:que 2               2695063         15
irq269: igb2:que 3                961456          5
irq270: igb2:link                      5          0
irq271: igb3:que 0            1161427687       6513
irq272: igb3:que 1               2762306         15
irq273: igb3:que 2                860449          4
irq274: igb3:que 3               2960442         16
irq275: igb3:link                      6          0
cpu2:timer                     735341479       4124
cpu1:timer                     735323490       4123
cpu3:timer                     732817070       4109
Total                        12246615934      68683


vmstat -z

Код: Выделить всё
cat vmstat_z
ITEM                   SIZE  LIMIT     USED     FREE      REQ FAIL SLEEP

UMA Kegs:               208,      0,      97,       5,      97,   0,   0
UMA Zones:              896,      0,      97,       3,      97,   0,   0
UMA Slabs:              568,      0,   15643,      23,19956573,   0,   0
UMA RCntSlabs:          568,      0,   21947,       5,   22104,   0,   0
UMA Hash:               256,      0,       1,      14,       3,   0,   0
16 Bucket:              152,      0,      56,      94,     141,   0,   0
32 Bucket:              280,      0,      95,      73,     196,   8,   0
64 Bucket:              536,      0,      85,      69,     232, 117,   0
128 Bucket:            1048,      0,   19202,       1,   44019,1567,   0
VM OBJECT:              216,      0,   46700,     442, 1227045,   0,   0
MAP:                    232,      0,       7,      25,       7,   0,   0
KMAP ENTRY:             120, 187023,      66,    1081,58744741,   0,   0
MAP ENTRY:              120,      0,    2021,     490, 1900432,   0,   0
fakepg:                 120,      0,       0,       0,       0,   0,   0
mt_zone:               4112,      0,     260,       3,     260,   0,   0
16:                      16,      0,    4496,     880,183121940,   0,   0
32:                      32,      0,   15659,    3632,13923378308,   0,   0
64:                      64,      0,   14391,    1289,51210201599,   0,   0
128:                    128,      0,  177023,    3560,47188173,   0,   0
256:                    256,      0,   42211,    1049,34556469,   0,   0
512:                    512,      0,    7829,     669,  571527,   0,   0
1024:                  1024,      0,      68,     164,  944386,   0,   0
2048:                  2048,      0,    2433,     185,   22821,   0,   0
4096:                  4096,      0,   10658,     452,  567699,   0,   0
Files:                   80,      0,    1358,     622, 4180013,   0,   0
TURNSTILE:              136,      0,     415,     165,     490,   0,   0
umtx pi:                 96,      0,       0,       0,       0,   0,   0
MAC labels:              40,      0,       0,       0,       0,   0,   0
PROC:                  1160,      0,      58,      74,   60531,   0,   0
THREAD:                1112,      0,     202,     212,  390889,   0,   0
SLEEPQUEUE:              80,      0,     415,     165,     490,   0,   0
VMSPACE:                392,      0,      43,      77,   60517,   0,   0
cpuset:                  72,      0,      18,     132,      19,   0,   0
audit_record:           960,      0,       0,       0,       0,   0,   0
mbuf_packet:            256,      0,   42409,    1239,25474121559,   0,   0
mbuf:                   256,      0,   15270,     347,42188577856,   0,   0
mbuf_cluster:          2048, 131072,   43648,     246,2459309673,   0,   0
mbuf_jumbo_page:       4096,  12800,       0,       0,       0,   0,   0
mbuf_jumbo_9k:         9216,   6400,       0,       0,       0,   0,   0
mbuf_jumbo_16k:       16384,   3200,       0,       0,       0,   0,   0
mbuf_ext_refcnt:          4,      0,       0,     672,     180,   0,   0
NetGraph items:          72,  65540,       2,     404,48080235,   0,   0
NetGraph data items:     72,  65540,    3131,     378,25134613968,   0,   0
g_bio:                  232,      0,       3,    4189,  855393,   0,   0
ttyinq:                 160,      0,     300,     108,     855,   0,   0
ttyoutq:                256,      0,     157,      53,     446,   0,   0
ata_request:            328,      0,       1,     143,  284755,   0,   0
ata_composite:          336,      0,       0,       0,       0,   0,   0
VNODE:                  480,      0,   80637,     659, 1059777,   0,   0
VNODEPOLL:              112,      0,       1,      98,       2,   0,   0
NAMEI:                 1024,      0,       0,     112, 6467244,   0,   0
S VFS Cache:            108,      0,   57362,   26953,  985729,   0,   0
L VFS Cache:            328,      0,   24246,     210,  107691,   0,   0
DIRHASH:               1024,      0,      18,     306,    1982,   0,   0
NCLNODE:                560,      0,       0,       0,       0,   0,   0
Mountpoints:            768,      0,       5,      10,       5,   0,   0
pipe:                   728,      0,      11,      94,   49017,   0,   0
ksiginfo:               112,      0,     123,     405,   25407,   0,   0
itimer:                 344,      0,       0,      22,       1,   0,   0
KNOTE:                  128,      0,       0,     174,    3530,   0,   0
pfsrctrpl:              152,  60000,       0,       0,       0,   0,   0
pfrulepl:               936,      0,      11,       1,      11,   0,   0
pfstatepl:              288, 900003,   42922,  781278,1299829160,   0,   0
pfstatekeypl:           288,      0,   67878,  825365,1687411796,   0,   0
pfstateitempl:          288,      0,   67878,  825391,1687116590,   0,   0
pfaltqpl:               240,      0,       0,       0,       0,   0,   0
pfpooladdrpl:            88,      0,       3,      81,       3,   0,   0
pfrktable:             1296,   1002,       2,       4,       4,   0,   0
pfrkentry:              160, 400008,       6,      42,       6,   0,   0
pffrent:                 32, 300071,       0,    1919,89489682,   0,   0
pffrag:                  80,      0,       0,     990,44401481,   0,   0
pffrcache:               80,  10035,       0,       0,       0,   0,   0
pffrcent:                24,  50022,       0,       0,       0,   0,   0
pfstatescrub:            40,      0,       0,       0,       0,   0,   0
pfiaddrpl:              120,      0,       0,       0,       0,   0,   0
pfospfen:               112,      0,     700,      26,     700,   0,   0
pfosfp:                  40,      0,     410,      94,     410,   0,   0
pfsync:                  88,      0,       0,       0,       0,   0,   0
socket:                 680, 131076,    1265,     583, 1272372,   0,   0
ipq:                     56,   4158,       0,       0,       0,   0,   0
udp_inpcb:              392, 131080,       7,     323,  736199,   0,   0
udpcb:                   16, 131208,       7,     833,  736199,   0,   0
tcp_inpcb:              392, 131080,      12,     508,  528151,   0,   0
tcpcb:                  976, 131072,      12,      84,  528151,   0,   0
tcptw:                   72,  26250,       0,     600,  503119,   0,   0
syncache:               152,  15375,       0,     150,  516530,   0,   0
hostcache:              136,  15372,       2,     138,      10,   0,   0
tcpreass:                40,   8232,       0,     252,       6,   0,   0
sackhole:                32,      0,       0,     202,       2,   0,   0
ripcb:                  392, 131080,       1,      29,       5,   0,   0
unpcb:                  240, 131072,      23,     105,    6792,   0,   0
rtentry:                200,      0,    7110,    3435,  100387,   0,   0
IPFW dynamic rule:      120,      0,       0,       0,       0,   0,   0
divcb:                  392, 131080,       0,       0,       0,   0,   0
selfd:                   56,      0,     441,    2268,25045315243,   0,   0
SWAPMETA:               288, 116519,       0,       0,       0,   0,   0
FFS inode:              168,      0,   80604,     576, 1059698,   0,   0
FFS1 dinode:            128,      0,       0,       0,       0,   0,   0
FFS2 dinode:            256,      0,   80604,     606, 1059698,   0,   0


top

Код: Выделить всё
last pid: 60577;  load averages: 16.32, 16.15, 14.15  up 2+01:37:05    20:40:13
58 processes:  1 running, 54 sleeping, 3 lock
CPU:  0.0% user,  0.0% nice, 75.1% system,  0.4% interrupt, 24.5% idle
Mem: 150M Active, 2000M Inact, 1628M Wired, 8960K Cache, 413M Buf, 109M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME   THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
41785 root         7  20    0   295M   122M nanslp  1 171:45  0.00% mpd5
42091 root         1  20    0 22928K  5792K select  1  22:47  0.00% zebra
41665 root         1  20    0 12184K  1340K select  1   3:26  0.00% syslogd
42341 root         1  20    0 29736K  9464K *PFil   1   2:12  0.00% ospfd
41866 zabbix       1  20    0 19744K  1932K nanslp  1   0:18  0.00% zabbix_agen
41870 zabbix       1  20    0 19744K  1872K accept  2   0:15  0.00% zabbix_agen
41868 zabbix       1  20    0 19744K  1872K select  1   0:15  0.00% zabbix_agen
41872 zabbix       1  20    0 19744K  1872K accept  2   0:15  0.00% zabbix_agen
41871 zabbix       1  20    0 19744K  1872K accept  1   0:15  0.00% zabbix_agen
41869 zabbix       1  20    0 19744K  1864K accept  1   0:15  0.00% zabbix_agen
42554 root         1  20    0 20384K  3356K select  1   0:01  0.00% sendmail
42564 root         1  20    0 14260K  1436K nanslp  1   0:00  0.00% cron
42547 root         1  20    0 46876K  3752K select  2   0:00  0.00% sshd
60263 skripnik     1  20    0 68016K  4572K select  2   0:00  0.00% sshd
59958 skripnik     1  20    0 68016K  4356K select  3   0:00  0.00% sshd
42558 smmsp        1  20    0 20384K  3176K pause   1   0:00  0.00% sendmail
60432 root         1  20    0 68016K  4624K sbwait  0   0:00  0.00% sshd
59962 root         1  20    0 17580K  2640K ttyin   2   0:00  0.00% bash

last pid: 60577;  load averages: 16.32, 16.15, 14.15  up 2+01:37:07    20:40:15
58 processes:  1 running, 54 sleeping, 3 lock
CPU:  0.0% user,  0.0% nice, 75.1% system,  0.3% interrupt, 24.6% idle
Mem: 150M Active, 2000M Inact, 1628M Wired, 8960K Cache, 413M Buf, 109M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME   THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
41785 root         7  20    0   295M   122M nanslp  1 171:45  0.00% mpd5
42091 root         1  20    0 22928K  5792K select  1  22:47  0.00% zebra
41665 root         1  20    0 12184K  1340K select  1   3:26  0.00% syslogd
42341 root         1  20    0 29736K  9464K *PFil   1   2:12  0.00% ospfd
41866 zabbix       1  20    0 19744K  1932K nanslp  1   0:18  0.00% zabbix_agen
41870 zabbix       1  20    0 19744K  1872K accept  2   0:15  0.00% zabbix_agen
41868 zabbix       1  20    0 19744K  1872K select  1   0:15  0.00% zabbix_agen
41872 zabbix       1  20    0 19744K  1872K accept  2   0:15  0.00% zabbix_agen
41871 zabbix       1  20    0 19744K  1872K accept  1   0:15  0.00% zabbix_agen
41869 zabbix       1  20    0 19744K  1864K accept  1   0:15  0.00% zabbix_agen
42554 root         1  20    0 20384K  3356K select  1   0:01  0.00% sendmail
42564 root         1  20    0 14260K  1436K nanslp  1   0:00  0.00% cron
42547 root         1  20    0 46876K  3752K select  2   0:00  0.00% sshd
60263 skripnik     1  20    0 68016K  4572K select  2   0:00  0.00% sshd
59958 skripnik     1  20    0 68016K  4356K select  3   0:00  0.00% sshd
42558 smmsp        1  20    0 20384K  3176K pause   1   0:00  0.00% sendmail
60432 root         1  20    0 68016K  4624K sbwait  0   0:00  0.00% sshd
59962 root         1  20    0 17580K  2640K ttyin   2   0:00  0.00% bash

/var/log/messages
Код: Выделить всё
Jan 21 19:16:07 nas-4 kernel: Limiting icmp ping response from 324 to 200 packets/sec
Jan 21 19:44:26 nas-4 kernel: icmp redirect from 10.100.100.5: 10.202.199.183 => 10.100.100.254
Jan 21 19:44:51 nas-4 last message repeated 6 times
Jan 21 19:46:30 nas-4 last message repeated 3 times
Jan 21 19:58:28 nas-4 sudo: usename : TTY=pts/2 ; PWD=/usr/home/username ; USER=root ; COMMAND=/bin/bash
Jan 21 20:33:14 nas-4 login: 3 LOGIN FAILURES ON ttyv0

в момент снятия информации машина жутко тормозила. 75.1% system сняло этот параметр, но я видел и 100%

трафик на момент аварии составлял 1-1.2Gb/s на прием и 500 мегабит на отдачу. pps не скажу, так как графики не рисовались на тот момент.
теперь sysctl
Код: Выделить всё
[root@nas-4 /]# sysctl net.isr.direct
net.isr.direct: 0


Код: Выделить всё
[root@nas-4 /]# sysctl net.isr.direct_arp 
sysctl: unknown oid 'net.isr.direct_arp'
[root@nas-4 /]# sysctl dev.igb.0.enable_lro
sysctl: unknown oid 'dev.igb.0.enable_lro'
[root@nas-4 /]#


также имеем
Код: Выделить всё
[root@nas-4 /]# sysctl net.inet.ip.intr_queue_maxlen
net.inet.ip.intr_queue_maxlen: 5000
[root@nas-4 /]# sysctl net.route.netisr_maxqlen     
net.route.netisr_maxqlen: 4096
[root@nas-4 /]# sysctl net.isr.maxthreads
net.isr.maxthreads: 1
[root@nas-4 /]#

Какие параметры лучше установить??
Есть ли криминальные моменты в приведенных параметрах?
ApmeM
новичок
 
Сообщения: 20
Зарегистрирован: 11 сен 2012, 16:00

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение ApmeM » 22 янв 2013, 11:16

Логи железок
Агрегация

Код: Выделить всё
SYSLOG: *Jan 21 18:45:47: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to down.
SYSLOG: *Jan 21 18:45:45: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/20 changed state to up.
SYSLOG: *Jan 21 18:45:45: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to up.
SYSLOG: *Jan 21 18:45:43: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/20 changed state to down.
SYSLOG: *Jan 21 18:45:43: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to down.
SYSLOG: *Jan 21 18:44:37: %NFPP_IP_GUARD-4-SCAN: Host<IP=178.213.6.129,MAC=N/A,port=Gi0/22,VLAN=1010> was detected.(2013-1-21 18:44:9)
SYSLOG: *Jan 21 18:44:07: %NFPP_IP_GUARD-4-DOS_DETECTED: Host<IP=178.213.6.129,MAC=N/A,port=Gi0/22,VLAN=1010> was detected.(2013-1-21 18:44:7)
SYSLOG: *Jan 21 18:43:24: %LACP-5-SUSPEND: Interface GigabitEthernet 0/20 suspended: LACP currently not enabled on the remote port.
SYSLOG: *Jan 21 18:43:24: %LACP-5-SUSPEND: Interface GigabitEthernet 0/19 suspended: LACP currently not enabled on the remote port.
SYSLOG: *Jan 21 18:43:15: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/20 changed state to up.
SYSLOG: *Jan 21 18:43:15: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to up.
SYSLOG: *Jan 21 18:43:13: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/20 changed state to down.
SYSLOG: *Jan 21 18:43:13: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to down.
SYSLOG: *Jan 21 18:42:56: %LACP-5-SUSPEND: Interface GigabitEthernet 0/20 suspended: LACP currently not enabled on the remote port.
SYSLOG: *Jan 21 18:42:56: %LACP-5-SUSPEND: Interface GigabitEthernet 0/19 suspended: LACP currently not enabled on the remote port.
SYSLOG: *Jan 21 18:42:47: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/20 changed state to up.
SYSLOG: *Jan 21 18:42:47: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to up.
SYSLOG: *Jan 21 18:42:45: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/20 changed state to down.
SYSLOG: *Jan 21 18:42:45: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to down.
SYSLOG: *Jan 21 18:42:42: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to up.
SYSLOG: *Jan 21 18:42:41: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/20 changed state to up.
SYSLOG: *Jan 21 18:42:30: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/20 changed state to down.
SYSLOG: *Jan 21 18:42:30: %LACP-5-AGMEMUPDOWN: LACP aggregate member GigabitEthernet 0/19 changed state to down.
SYSLOG: *Jan 21 18:34:36: %NFPP_IP_GUARD-4-SCAN: Host<IP=178.213.6.129,MAC=N/A,port=Gi0/22,VLAN=1010> was detected.(2013-1-21 18:34:7)
SYSLOG: *Jan 21 18:34:06: %NFPP_IP_GUARD-4-DOS_DETECTED: Host<IP=178.213.6.129,MAC=N/A,port=Gi0/22,VLAN=1010> was detected.(2013-1-21 18:34:6)
SYSLOG: *Jan 21 18:19:09: %NFPP_DHCP_GUARD-4-DOS_DETECTED: Host<IP=N/A,MAC=c860.00b1.4ef8,port=Gi0/3,VLAN=106> was detected.(2013-1-21 18:19:9)
SYSLOG: *Jan 21 18:16:58: %NFPP_DHCP_GUARD-4-DOS_DETECTED: Host<IP=N/A,MAC=c860.00b1.4ef8,port=Gi0/3,VLAN=106> was detected.(2013-1-21 18:16:58)
SYSLOG: *Jan 21 18:16:19: %LACP-5-PTINFOCHG: Partner information changed on interface GigabitEthernet 0/20.
Link Down: Ag 4
SYSLOG: *Jan 21 18:16:17: %LACP-5-UNBUNDLE: Interface GigabitEthernet 0/20 left AggregatePort 4.
SYSLOG: *Jan 21 18:14:50: %NFPP_DHCP_GUARD-4-DOS_DETECTED: Host<IP=N/A,MAC=d066.7bdd.945c,port=Gi0/8,VLAN=43> was detected.(2013-1-21 18:14:50)
SYSLOG: *Jan 21 18:14:17: %LACP-5-SUSPEND: Interface GigabitEthernet 0/19 suspended: LACP currently not enabled on the remote port.
SYSLOG: *Jan 21 18:14:08: %LACP-5-UNBUNDLE: Interface GigabitEthernet 0/19 left AggregatePort 4.
SYSLOG: *Jan 21 18:14:08: %LACP-5-CURWHLEXPRY: Current while timer expired on interface GigabitEthernet 0/19.


Корень сети
ES4626
Код: Выделить всё
SYSLOG: %Jan 21 18:45:44 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/15, changed state to UP
SYSLOG: %Jan 21 18:45:41 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/15, changed state to DOWN
SYSLOG: %Jan 21 18:45:41 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/16, changed state to DOWN
SYSLOG: %Jan 21 18:43:13 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/15, changed state to UP
SYSLOG: %Jan 21 18:43:13 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/16, changed state to UP
SYSLOG: %Jan 21 18:43:11 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/15, changed state to DOWN
SYSLOG: %Jan 21 18:43:11 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/16, changed state to DOWN
SYSLOG: %Jan 21 18:42:46 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/15, changed state to UP
SYSLOG: %Jan 21 18:42:46 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/16, changed state to UP
SYSLOG: %Jan 21 18:42:43 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/16, changed state to DOWN
SYSLOG: %Jan 21 18:42:43 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/15, changed state to DOWN
SYSLOG: %Jan 21 18:42:40 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/15, changed state to UP
SYSLOG: %Jan 21 18:42:40 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/16, changed state to UP
SYSLOG: %Jan 21 18:42:31 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/15, changed state to DOWN
SYSLOG: %Jan 21 18:42:31 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/16, changed state to DOWN
SYSLOG: %Jan 21 18:14:37 2013 MODULE_PORT[tphyDaemon]:%LINEPROTO-5-UPDOWN: Line protocol on Interface Port-Channel4, changed state to DOWN
ApmeM
новичок
 
Сообщения: 20
Зарегистрирован: 11 сен 2012, 16:00

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение ApmeM » 22 янв 2013, 17:18

root писал(а):У тебя на сетевухах установлен autoselect - выстави жестко гигабит/фул-дуплекс с обоих сторон. Не редко когда именно автоселект вызывает подобные проблемы.

Хочу уточнить такой момент... на DGS 3610-26G интерфейсы Gi0/19 и Gi0/20 включены в port-group.
при попытке установить жестко гигабит/фул-дуплекс выдает ошибку

Код: Выделить всё
DGS3610(config-if-GigabitEthernet 0/19)#speed 1000
                                          ^
% Invalid input detected at '^' marker.

DGS3610(config-if-GigabitEthernet 0/19)#

но разрешает установит гигабит/фул-дуплекс на интерфейсе Aggregateport 1
а именно
Код: Выделить всё
DGS3610(config-if-AggregatePort 1)#speed ?
  10    Force 10 Mbps operation
  100   Force 100 Mbps operation
  1000  Force 1000 Mbps operation
  auto  Enable AUTO speed configuration

DGS3610(config-if-AggregatePort 1)#speed ?   
  10    Force 10 Mbps operation
  100   Force 100 Mbps operation
  1000  Force 1000 Mbps operation
  auto  Enable AUTO speed configuration

DGS3610(config-if-AggregatePort 1)#du   
DGS3610(config-if-AggregatePort 1)#duplex ?
  auto  Set switchport auto negotiation
  full  Set switchport full-duplex
  half  Set switchport half-duplex

коректно ли будет проводить такие настройки на интерфейсе агрегации а не на gigabitEthernet?
ну как минимум duplex full , а то меня терзают сомнения касательно speed 1000.
А также интересует - на freebsd операции проводить с интерфейсами lagg или igb?
ApmeM
новичок
 
Сообщения: 20
Зарегистрирован: 11 сен 2012, 16:00

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение ApmeM » 22 янв 2013, 20:13

еще одна особенность, на момент аварии имел такую картину
Код: Выделить всё
top -S
0 root 26 -52 0 0K 416K - 0 1:27 289,3% kernel
ApmeM
новичок
 
Сообщения: 20
Зарегистрирован: 11 сен 2012, 16:00

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение root » 23 янв 2013, 10:05

исходя из логов железки на портах пропадал линк, а это в большинстве случае указывает на физическую проблему. для начала я бы поменял патчкорды.
но и возможную логическую составляющую не стоит убирать, т.к. в некоторых случаях софт железки, при определенных настройках может гасить/поднимать порт.
вот в логах у тя есть какой то IP_GUARD, это логика, она может быть причиной UP/DOWN линков ? Что это за "гард" у тя там такой ?
так же в логах есть и по LACP инфа, из агрегации вываливался порт 20. Вот с этим и нужно разбираться.

ApmeM писал(а):при попытке установить жестко гигабит/фул-дуплекс выдает ошибку

значит кури доку железки на эту тему.

ApmeM писал(а):разрешает установит гигабит/фул-дуплекс на интерфейсе Aggregateport 1

ну так установи. только это же нужно сделать и со стороны сервера.
если порты вываливаются/приваливаются, то исходя из собственного же опыта могу сказать что проблема с отсутствием пинга/ARP`а даже при наличии линка чаще всего случается на портах в auto.
когда линк гаснет, а потом поднимается, то на портах в авто начинается согласование скорости и дуплекса с удаленной стороной. могу 100% сказать что с Dlink`ом не всегда это удачно заканчиватся.
я встречал и такое что на стороне хоста автоопределилось full-duplex, а на стороне железки half-duplex. надо ли говорить что это приводит к проблемам.
В твоем случае порты 1G, а гигабитные порты работают только в full-duplex, но это не отменяет стадию согласования портов.

ApmeM писал(а):коректно ли будет проводить такие настройки на интерфейсе агрегации а не на gigabitEthernet?

ответ на этот вопрос должен содержаться в документации к железке. что там на тему LACP написано ? Читал ?

ApmeM писал(а):ну как минимум duplex full , а то меня терзают сомнения касательно speed 1000.

а чем они тебя терзают ? исходя из практики работы с другими железками и тут скорее всего подразумевается, что эта установка касается каждого порта участвующего в LACP.

ApmeM писал(а):на freebsd операции проводить с интерфейсами lagg или igb?

для начала я бы сделал это на физических ифейсах и посмотрел что из этого выйдет, а потом уже принимал бы дальнейшие решения
С уважением, root

Изображение
------------
www.mega-net.ru - IT аутсорсинг
Аватара пользователя
root
Site Admin
 
Сообщения: 1867
Зарегистрирован: 11 июн 2008, 13:05
Откуда: Moscow, Russia

Re: Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

Сообщение ApmeM » 23 янв 2013, 12:54

Внес изменения на сервере и коммутаторах. Пока по одному серверу.
Ждем результатов.
имеем следующую картину
со стороны сервера

Код: Выделить всё
[root@nas-4 /]# ifconfig igb0
igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   options=a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM>
   ether 90:e2:ba:08:90:00
   [b]media: Ethernet 1000baseT <full-duplex>[/b]
   status: active
[root@nas-4 /]# ifconfig igb1
igb1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   options=a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM>
   ether 90:e2:ba:08:90:00
   [b]media: Ethernet 1000baseT <full-duplex>[/b]
   status: active
[root@nas-4 /]# ifconfig igb2
igb2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
   ether 90:e2:ba:08:8f:a0
   [b]media: Ethernet 1000baseT <full-duplex>[/b]
   status: active
[root@nas-4 /]# ifconfig igb3
igb3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
   ether 90:e2:ba:08:8f:a0
   [b]media: Ethernet 1000baseT <full-duplex>[/b]
   status: active
[root@nas-4 /]# ifconfig lagg0
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
   ether 90:e2:ba:08:8f:a0
   inet 10.100.110.64 netmask 0xffffff00 broadcast 10.100.110.255
   [b]media: Ethernet autoselect[/b]
   status: active
   laggproto lacp
   laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
   laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
[root@nas-4 /]# ifconfig lagg1
lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   options=a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM>
   ether 90:e2:ba:08:90:00
   inet 10.100.100.64 netmask 0xffffff00 broadcast 10.100.100.255
   inet 178.213.x.y netmask 0xffffffe0 broadcast 178.213.x.xx
   inet 178.213.a.b netmask 0xfffffff0 broadcast 178.213.a.aa
   [b]media: Ethernet autoselect[/b]
   status: active
   laggproto lacp
   laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
   laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
[root@nas-4 /]#


со стороны агрегации DGS-3610-26G
Код: Выделить всё
DGS3610#show lacp summary

System Id:40000, 0021.91c7.d6f7

Flags:  S - Device is requesting Slow LACPDUs   F - Device is requesting Fast LACPDUs.
A - Device is in active mode.        P - Device is in passive mode.

Aggregate port 1:

Local information:
                                LACP port       Oper    Port    Port
Port      Flags     State       Priority        Key     Number  State
----------------------------------------------------------------------
Gi0/21    SA        bndl        40000           0x1     0x15    0x3d
Gi0/23    SA        bndl        40000           0x1     0x17    0x3d

Partner information:
                    LACP port                  Oper    Port     Port
Port      Flags     Priority      Dev ID       Key     Number   State
---------------------------------------------------------------------
Gi0/21    SA        32768     001b.2190.be16   0x150   0x3      0x3d
Gi0/23    SA        32768     001b.2190.be16   0x150   0x4      0x3d

Aggregate port 4:
         
Local information:
                                LACP port       Oper    Port    Port
Port      Flags     State       Priority        Key     Number  State
----------------------------------------------------------------------
Gi0/19    SA        bndl        40000           0x4     0x13    0x3d
Gi0/20    SA        bndl        40000           0x4     0x14    0x3d

Partner information:
                    LACP port                  Oper    Port     Port
Port      Flags     Priority      Dev ID       Key     Number   State
---------------------------------------------------------------------
Gi0/19    SA        32768     90e2.ba08.8fa0   0x130   0x4      0x3d
Gi0/20    SA        32768     90e2.ba08.8fa0   0x130   0x3      0x3d
DGS3610#sho
DGS3610#show int
DGS3610#show interfaces gi
DGS3610#show interfaces gigabitEthernet 0/19
Index(dec):19 (hex):13
GigabitEthernet 0/19 is UP, line protocol is UP
Hardware is Broadcom 5464 GigabitEthernet
Interface address is: no ip address
  MTU 1500 bytes, BW 1000000 Kbit
  Encapsulation protocol is Bridge, loopback not set
  Keepalive interval is 10 sec , set
  Carrier delay is 2 sec
  Rxload is 1/255, Txload is 1/255
  Switchport attributes:
    interface's description:""
    admin medium-type is Copper, oper medium-type is Copper
    lastchange time:210 Day: 8 Hour:19 Minute: 4 Second
    Priority is 0
    [b]admin duplex mode is Force Full Duplex, oper duplex is Full
    admin speed is 1000M, oper speed is 1000M[/b]
    flow receive control admin status is OFF, flow send control admin status is OFF
    flow receive control oper status is OFF, flow send control oper status is OFF
    Storm Control: Broadcast is OFF, Multicast is OFF, Unicast is OFF
  5 minutes input rate 33 bits/sec, 0 packets/sec
  5 minutes output rate 1324593 bits/sec, 328 packets/sec
    124496937680 packets input, 137549619518119 bytes, 0 no buffer, 0 dropped
    Received 3216 broadcasts, 0 runts, 7 giants
    11 input errors, 3 CRC, 0 frame, 0 overrun, 0 abort
    106166485372 packets output, 60685437607853 bytes, 0 underruns , 4909113 dropped
    0 output errors, 0 collisions, 0 interface resets
DGS3610#show interfaces gigabitEthernet 0/20
Index(dec):20 (hex):14
GigabitEthernet 0/20 is UP, line protocol is UP
Hardware is Broadcom 5464 GigabitEthernet
Interface address is: no ip address
ARP type: ARPA, ARP Timeout: 3600 seconds
  MTU 1500 bytes, BW 1000000 Kbit
  Encapsulation protocol is Bridge, loopback not set
  Keepalive interval is 10 sec , set
  Carrier delay is 2 sec
  Rxload is 1/255, Txload is 1/255
  Switchport attributes:
    interface's description:""
    admin medium-type is Copper, oper medium-type is Copper
    lastchange time:210 Day: 8 Hour:19 Minute: 4 Second
    Priority is 0
    [b]admin duplex mode is Force Full Duplex, oper duplex is Full
    admin speed is 1000M, oper speed is 1000M[/b]
    flow receive control admin status is OFF, flow send control admin status is OFF
    flow receive control oper status is OFF, flow send control oper status is OFF
    Storm Control: Broadcast is OFF, Multicast is OFF, Unicast is OFF
  5 minutes input rate 38 bits/sec, 0 packets/sec
  5 minutes output rate 144099 bits/sec, 159 packets/sec
    133336862082 packets input, 144902170277804 bytes, 0 no buffer, 0 dropped
    Received 1435326 broadcasts, 0 runts, 2 giants
    8 input errors, 4 CRC, 10 frame, 0 overrun, 0 abort
    112718435895 packets output, 67128861472618 bytes, 0 underruns , 3756545 dropped
    0 output errors, 0 collisions, 0 interface resets
DGS3610#show interfaces A                   
DGS3610#show interfaces Ag
DGS3610#show interfaces Aggregateport 4
Index(dec):26 (hex):1a
AggregatePort 4 is UP  , line protocol is UP   
Hardware is Aggregate Link AggregatePort
Description: NAS4
Interface address is: no ip address
  MTU 1500 bytes, BW 2000000 Kbit
  Encapsulation protocol is Bridge, loopback not set
  Keepalive interval is 10 sec , set
  Carrier delay is 2 sec
  Rxload is 1/255, Txload is 1/255
  Switchport attributes:
    interface's description:"NAS4"
    admin medium-type is Copper, oper medium-type is Copper
    lastchange time:210 Day: 8 Hour:54 Minute:49 Second
    Priority is 0
    [b]admin duplex mode is Force Full Duplex, oper duplex is Full
    admin speed is 1000M, oper speed is 1000M[/b]
    flow receive control admin status is OFF, flow send control admin status is OFF
    flow receive control oper status is OFF, flow send control oper status is OFF
    Storm Control: Broadcast is OFF, Multicast is OFF, Unicast is OFF
  Port-type: trunk
    Native vlan: 1
    Allowed vlan lists: 1-4094
    Active vlan lists: 1-10,30-600,999-1000,1010-1011,1076
                       2518-2521
Aggregate Port Informations:
        Aggregate Number: 4
        Name: "AggregatePort 4"
        Refs: 2
        Members: (count=2)
        GigabitEthernet 0/19             Link Status: Up
        GigabitEthernet 0/20             Link Status: Up
DGS3610#


со стороны корневого коммутатора ES4626 имеем

Код: Выделить всё
ES4626#show port-group detail 
Flags:  A -- LACP_Activity, B -- LACP_timeout, C -- Aggregation,
        D -- Synchronization, E -- Collecting, F -- Distributing,
        G -- Defaulted, H -- Expired

Port-group number: 1,  Mode: active,   Load-balance: dst-src-ip
 Port-group detail information:
 System ID: 0x9c40,00-12-cf-74-f9-21
 Local:
  Port             Status      Priority  Oper-Key Flag     
  -----------------------------------------------------------
  Ethernet1/17     Selected    40000     1        {ACDEF}
  Ethernet1/18     Selected    40000     1        {ACDEF}

 Remote:
  Actor           Partner  Priority  Oper-Key SystemID                    Flag     
  --------------------------------------------------------------------------------
  Ethernet1/17    2        32768     368      0x8000,00-1b-21-90-be-14    {ACDEF}
  Ethernet1/18    1        32768     368      0x8000,00-1b-21-90-be-14    {ACDEF}

Port-group number: 4,  Mode: active,   Load-balance: dst-src-ip
 Port-group detail information:
 System ID: 0x9c40,00-12-cf-74-f9-21
 Local:
  Port             Status      Priority  Oper-Key Flag     
  -----------------------------------------------------------
  Ethernet1/15     Selected    40000     4        {ACDEF}
  Ethernet1/16     Selected    40000     4        {ACDEF}

 Remote:
  Actor           Partner  Priority  Oper-Key SystemID                    Flag     
  --------------------------------------------------------------------------------
  Ethernet1/15    2        32768     336      0x8000,90-e2-ba-08-90-00    {ACDEF}
  Ethernet1/16    1        32768     336      0x8000,90-e2-ba-08-90-00    {ACDEF}
ES4626#show interface ? 
  loopback    Loopback
  status      Status
  switchport  Switchport information

ES4626#show interface status ethernet 1/15
Ethernet1/15 is up, line protocol is up
  Ethernet1/15 is layer 2 port, alias name is NAS64_LACP, index is 15
  Ethernet1/15 is LAG member port, LAG port:Port-Channel4
  Hardware is Gigabit-TX, address is 00-12-cf-74-f9-21
  PVID is 1
  MTU 1500 bytes, BW 1000000 Kbit
  Encapsulation ARPA, Loopback not set
  [b]Force full-duplex, Force 1G[/b]
  FlowControl is off, MDI type is auto
  5 minute input rate 152051 bits/sec, 220 packets/sec
  5 minute output rate 227374 bits/sec, 383 packets/sec
  The last 5 second input rate 156123 bits/sec, 226 packets/sec
  The last 5 second output rate 228957 bits/sec, 383 packets/sec
  Input packets statistics:
    17362903792 input packets, 7513896726025 bytes, 0 no buffer
    172149395 unicast packets, 3411839 multicast packets, 7473374 broadcast packets
    0 input errors, 0 CRC, 0 frame alignment, 0 overrun, 0 ignored,
    0 abort, 0 length error, 0 pause frame
  Output packets statistics:
    128752774501 output packets, 137761403869024 bytes, 3656065 underruns
    3897398940 unicast packets, 14106341 multicast packets, 287217636 broadcast packets
    0 output errors, 0 collisions, 0 late collisions, 0 pause frame
ES4626#show interface status ethernet 1/16
Ethernet1/16 is up, line protocol is up
  Ethernet1/16 is layer 2 port, alias name is NAS64_LACP, index is 16
  Ethernet1/16 is LAG member port, LAG port:Port-Channel4
  Hardware is Gigabit-TX, address is 00-12-cf-74-f9-21
  PVID is 1
  MTU 1500 bytes, BW 1000000 Kbit
  Encapsulation ARPA, Loopback not set
  [b]Force full-duplex, Force 1G[/b]
  FlowControl is off, MDI type is auto
  5 minute input rate 177816 bits/sec, 269 packets/sec
  5 minute output rate 163110 bits/sec, 255 packets/sec
  The last 5 second input rate 184587 bits/sec, 280 packets/sec
  The last 5 second output rate 175218 bits/sec, 271 packets/sec
  Input packets statistics:
    192101417269 input packets, 103710877191831 bytes, 0 no buffer
    3007350757 unicast packets, 337582 multicast packets, 115167906 broadcast packets
    0 input errors, 0 CRC, 0 frame alignment, 0 overrun, 0 ignored,
    0 abort, 0 length error, 0 pause frame
  Output packets statistics:
    128357845471 output packets, 137692977008622 bytes, 3412172 underruns
    3757562607 unicast packets, 17950613 multicast packets, 28280667 broadcast packets
    0 output errors, 0 collisions, 0 late collisions, 0 pause frame
ES4626#show interface status port-channel 4
Port-Channel4 is up, line protocol is up
  Port-Channel4 is layer 2 port, alias name is nas4, index is 68
  Port-Channel4 is LAG port, member is :
    Ethernet1/15   Ethernet1/16   
  Hardware is EtherChannel, address is 00-12-cf-74-f9-21
  PVID is 1
  MTU 1500 bytes, BW 2000000 Kbit
  Encapsulation ARPA, Loopback not set
  [b]Force full-duplex, Force 1G[/b]
  FlowControl is off, MDI type is auto
  5 minute input rate 330187 bits/sec, 490 packets/sec
  5 minute output rate 390645 bits/sec, 638 packets/sec
  The last 5 second input rate 317962 bits/sec, 472 packets/sec
  The last 5 second output rate 367813 bits/sec, 602 packets/sec
  Input packets statistics:
    209464323423 input packets, 111224774116582 bytes, 0 no buffer
    3179502301 unicast packets, 3749424 multicast packets, 122641490 broadcast packets
    0 input errors, 0 CRC, 0 frame alignment, 0 overrun, 0 ignored,
    0 abort, 0 length error, 0 pause frame
  Output packets statistics:
    257110622982 output packets, 275454381107529 bytes, 7068237 underruns
    3359996619 unicast packets, 32056996 multicast packets, 315498903 broadcast packets
    0 output errors, 0 collisions, 0 late collisions, 0 pause frame
ES4626#


настройки интерфейса корневого коммутатора ES4626
Код: Выделить всё
ES4626#show running-config interface ethernet 1/15
!
Interface Ethernet1/15
 [b]speed-duplex force1g-full[/b]
 description NAS64_LACP
 port-group 4 mode active
 lacp port-priority 40000
!
ES4626#show running-config interface ethernet 1/16
!
Interface Ethernet1/16
 [b]speed-duplex force1g-full[/b]
 description NAS64_LACP
 port-group 4 mode active
 lacp port-priority 40000
!
ES4626#show running-config interface port-channel 4
!
Interface Port-Channel4
 description nas4
 load-balance dst-src-ip
!
ES4626#


настройки интерфейсов агрегации DGS-3610-26G
Код: Выделить всё
DGS3610#show running-config interface GigabitEthernet 0/19

Building configuration...
Current configuration : 113 bytes
!
interface GigabitEthernet 0/19
 [b]duplex full
 speed 1000[/b]
 lacp port-priority 40000
 port-group 4 mode active
DGS3610#show running-config interface GigabitEthernet 0/20

Building configuration...
Current configuration : 113 bytes
!
interface GigabitEthernet 0/20
[b] duplex full
 speed 1000[/b]
 lacp port-priority 40000
 port-group 4 mode active
DGS3610#show running-config interface A                   
DGS3610#show running-config interface Aggregateport 4

Building configuration...
Current configuration : 97 bytes
!
interface AggregatePort 4
 switchport mode trunk
 [b]duplex full
 speed 1000[/b]
 description NAS4
DGS3610#


значение
Код: Выделить всё
media: Ethernet autoselect

для интерфейсов не изменились
настройки интерфейсов /etc/rc.conf

Код: Выделить всё
ifconfig_igb0="[b]media 1000baseTX mediaopt full-duplex[/b] up -polling -vlanhwtag -rxcsum -txcsum -tso -lro"
ifconfig_igb1="[b]media 1000baseTX mediaopt full-duplex[/b] up -polling -vlanhwtag -rxcsum -txcsum -tso -lro"
ifconfig_igb2="[b]media 1000baseTX mediaopt full-duplex[/b] up -polling -vlanhwtag -rxcsum -txcsum -tso -lro"
ifconfig_igb3="[b]media 1000baseTX mediaopt full-duplex[/b] up -polling -vlanhwtag -rxcsum -txcsum -tso -lro"
cloned_interfaces="lagg0 lagg1 vlan1 vlan2 vlan3 " # интерфейсы представлены частично
ifconfig_lagg0="laggproto lacp laggport igb2 laggport igb3 10.100.110.64 netmask 255.255.255.0"
ifconfig_lagg1="laggproto lacp laggport igb0 laggport igb1 10.100.100.64 netmask 255.255.255.0"
ifconfig_lagg1_alias0="inet 178.213.x.y netmask 255.255.255.224"
ifconfig_lagg1_alias1="inet 178.213.a.b netmask 255.255.255.240"
ApmeM
новичок
 
Сообщения: 20
Зарегистрирован: 11 сен 2012, 16:00

След.

Вернуться в FreeBSD

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9

cron