🚀 go-pugleaf

On 06/18/2011 05:03 PM, Marcin Markowski wrote:
> Witam,
>
> Posiadam serwer którego celem jest monitoring ruchu w sieci. Niestety
> od pewnego czasu, jak tylko ruch do karty monitoruj±cej przekroczy
> 6Gbit/s, to na czas (30 sekund) dzia³ania skryptu maszyna traci kontakt
> z sieci±. Czy który¶ z u¿ytkowników ma mo¿e do¶wiadczenie w optymalizacji
> FreeBSD do pracy z kartami sieciowymi 10G?
> Maszyna dzia³a obecnie na FreeBSD 8.2, a sprzêt to 2x Xeon E5520, 6GB
> ramu oraz karta sieciowa Intel X520-DA2.
>
Nie uzywam Intela. Uzywam Solaflare i ona wymagala update
firmware/sterowniki. Moze to nie wina OS tylko karty?Moze musisz
zwiekszyc buffer?

Pozdrawiam
m

  This message is in MIME format.  The first part should be readable text,
  while the remaining parts are likely unreadable without MIME-aware tools.

--1876591957-83620997-1308692203=:8744
Content-Type: TEXT/PLAIN; charset=ISO-8859-2; format=flowed
Content-Transfer-Encoding: QUOTED-PRINTABLE

On Tue, 21 Jun 2011, mk wrote:
> On 06/18/2011 05:03 PM, Marcin Markowski wrote:
>> Witam,
>> 
>> Posiadam serwer którego celem jest monitoring ruchu w sieci. Niestety
>> od pewnego czasu, jak tylko ruch do karty monitoruj±cej przekroczy
>> 6Gbit/s, to na czas (30 sekund) dzia³ania skryptu maszyna traci kontakt
>> z sieci±. Czy który¶ z u¿ytkowników ma mo¿e do¶wiadczenie w optymalizacji
>> FreeBSD do pracy z kartami sieciowymi 10G?
>> Maszyna dzia³a obecnie na FreeBSD 8.2, a sprzêt to 2x Xeon E5520, 6GB
>> ramu oraz karta sieciowa Intel X520-DA2.
>> 
> Nie uzywam Intela. Uzywam Solaflare i ona wymagala update 
> firmware/sterowniki. Moze to nie wina OS tylko karty?Moze musisz zwiekszyc 
> buffer?

Pytaniem jest tylko który buffer? Przegl±dn±³em do¶æ du¿± ilo¶æ
"tutoriali" na temat optymalizacji FreeBSD dla kart 10G, jednak wykonane
zmiany nie przynios³y efektów.
Mo¿liwe jednak, ¿e uda³o mi siê ustaliæ, ¿e winny jest sterownik (igb) od
karty 1GbE, któr± maszyna mia³a wyj¶cie na ¶wiat. Je¶li sterownik ma
ustawiony tryb MSI-X do generowania przerwañ, to z jakiego¶ powodu
wysycenie karty 10G (sterownik ixgbe oraz tak¿e tryb przerwañ MSI-X)
powoduje utratê ³±czno¶ci.
Sytuacja jest o tyle ciekawa, ¿e lokalne po³±czenia (w tej samej podsieci)
dzia³aj± bez problemu. Po prze³±czeniu sterownika igb na przerwania MSI
maszyna nie traci po³±czenia, jednak teraz co chwilê watchdog resetuje mi
kartê. Na szczê¶cie mam jeszcze starszy model karty sieciowej, który
dzia³a na sterowniku em, gdzie domy¶lnie jest tryb MSI i nie ma problemów
z utrat± ³±czno¶ci.
Niestety zaobserwowa³em jeszcze strasznie przyrastaj±cy licznik "Input
erros". Co mo¿e byæ przyczyn± b³êdów na poziomie ~24%? Na 948 milionów
pakietów jest 230 milionów b³êdów.

-- 
Marcin Markowski
--1876591957-83620997-1308692203=:8744--

On 06/21/2011 05:36 PM, Marcin Markowski wrote:
> On Tue, 21 Jun 2011, mk wrote:
>> On 06/18/2011 05:03 PM, Marcin Markowski wrote:
>>> Witam,
>>>
>>> Posiadam serwer którego celem jest monitoring ruchu w sieci. Niestety
>>> od pewnego czasu, jak tylko ruch do karty monitoruj±cej przekroczy
>>> 6Gbit/s, to na czas (30 sekund) dzia³ania skryptu maszyna traci kontakt
>>> z sieci±. Czy który¶ z u¿ytkowników ma mo¿e do¶wiadczenie w
>>> optymalizacji
>>> FreeBSD do pracy z kartami sieciowymi 10G?
>>> Maszyna dzia³a obecnie na FreeBSD 8.2, a sprzêt to 2x Xeon E5520, 6GB
>>> ramu oraz karta sieciowa Intel X520-DA2.
>>>
>> Nie uzywam Intela. Uzywam Solaflare i ona wymagala update
>> firmware/sterowniki. Moze to nie wina OS tylko karty?Moze musisz
>> zwiekszyc buffer?
>
> Pytaniem jest tylko który buffer? Przegl±dn±³em do¶æ du¿± ilo¶æ
> "tutoriali" na temat optymalizacji FreeBSD dla kart 10G, jednak wykonane
> zmiany nie przynios³y efektów.
> Mo¿liwe jednak, ¿e uda³o mi siê ustaliæ, ¿e winny jest sterownik (igb) od
> karty 1GbE, któr± maszyna mia³a wyj¶cie na ¶wiat. Je¶li sterownik ma
> ustawiony tryb MSI-X do generowania przerwañ, to z jakiego¶ powodu
> wysycenie karty 10G (sterownik ixgbe oraz tak¿e tryb przerwañ MSI-X)
> powoduje utratê ³±czno¶ci.
> Sytuacja jest o tyle ciekawa, ¿e lokalne po³±czenia (w tej samej podsieci)
> dzia³aj± bez problemu. Po prze³±czeniu sterownika igb na przerwania MSI
> maszyna nie traci po³±czenia, jednak teraz co chwilê watchdog resetuje mi
> kartê. Na szczê¶cie mam jeszcze starszy model karty sieciowej, który
> dzia³a na sterowniku em, gdzie domy¶lnie jest tryb MSI i nie ma problemów
> z utrat± ³±czno¶ci.
> Niestety zaobserwowa³em jeszcze strasznie przyrastaj±cy licznik "Input
> erros". Co mo¿e byæ przyczyn± b³êdów na poziomie ~24%? Na 948 milionów
> pakietów jest 230 milionów b³êdów.
>
Nie wiem jaki typ ruchu masz na sieci. Te bledy moga wynikac np z tego
masz multicasty i za maly bufor wejsciowy zeby przyjac taki ruch.To moze
tez byc firmware na karcie, probowales zrobic aktualizacje?

pozdrawiam
m

  This message is in MIME format.  The first part should be readable text,
  while the remaining parts are likely unreadable without MIME-aware tools.

--1876591957-1155745905-1309340439=:72911
Content-Type: TEXT/PLAIN; charset=ISO-8859-2; format=flowed
Content-Transfer-Encoding: QUOTED-PRINTABLE

On Wed, 22 Jun 2011, mk wrote:

> On 06/21/2011 05:36 PM, Marcin Markowski wrote:
>> On Tue, 21 Jun 2011, mk wrote:
>>> On 06/18/2011 05:03 PM, Marcin Markowski wrote:
>>>> Witam,
>>>> 
>>>> Posiadam serwer którego celem jest monitoring ruchu w sieci. Niestety
>>>> od pewnego czasu, jak tylko ruch do karty monitoruj±cej przekroczy
>>>> 6Gbit/s, to na czas (30 sekund) dzia³ania skryptu maszyna traci kontakt
>>>> z sieci±. Czy który¶ z u¿ytkowników ma mo¿e do¶wiadczenie w
>>>> optymalizacji
>>>> FreeBSD do pracy z kartami sieciowymi 10G?
>>>> Maszyna dzia³a obecnie na FreeBSD 8.2, a sprzêt to 2x Xeon E5520, 6GB
>>>> ramu oraz karta sieciowa Intel X520-DA2.
>>>> 
>>> Nie uzywam Intela. Uzywam Solaflare i ona wymagala update
>>> firmware/sterowniki. Moze to nie wina OS tylko karty?Moze musisz
>>> zwiekszyc buffer?
>> 
>> Pytaniem jest tylko który buffer? Przegl±dn±³em do¶æ du¿± ilo¶æ
>> "tutoriali" na temat optymalizacji FreeBSD dla kart 10G, jednak wykonane
>> zmiany nie przynios³y efektów.
>> Mo¿liwe jednak, ¿e uda³o mi siê ustaliæ, ¿e winny jest sterownik (igb) od
>> karty 1GbE, któr± maszyna mia³a wyj¶cie na ¶wiat. Je¶li sterownik ma
>> ustawiony tryb MSI-X do generowania przerwañ, to z jakiego¶ powodu
>> wysycenie karty 10G (sterownik ixgbe oraz tak¿e tryb przerwañ MSI-X)
>> powoduje utratê ³±czno¶ci.
>> Sytuacja jest o tyle ciekawa, ¿e lokalne po³±czenia (w tej samej podsieci)
>> dzia³aj± bez problemu. Po prze³±czeniu sterownika igb na przerwania MSI
>> maszyna nie traci po³±czenia, jednak teraz co chwilê watchdog resetuje mi
>> kartê. Na szczê¶cie mam jeszcze starszy model karty sieciowej, który
>> dzia³a na sterowniku em, gdzie domy¶lnie jest tryb MSI i nie ma problemów
>> z utrat± ³±czno¶ci.
>> Niestety zaobserwowa³em jeszcze strasznie przyrastaj±cy licznik "Input
>> erros". Co mo¿e byæ przyczyn± b³êdów na poziomie ~24%? Na 948 milionów
>> pakietów jest 230 milionów b³êdów.
>> 
> Nie wiem jaki typ ruchu masz na sieci. Te bledy moga wynikac np z tego masz 
> multicasty i za maly bufor wejsciowy zeby przyjac taki ruch.To moze tez byc 
> firmware na karcie, probowales zrobic aktualizacje?

W sumie karta odbiera wszystko co lata w sieci (³±cznie z multicastami).
Mogê zapytaæ które ustawienia odpowiadaj± za bufor dla karty sieciowej?
Nie jestem pewien, czy wykorzystuje np. net.inet.udp.recvspace gdy pakiet
nie jest skierowany do systemu? (maszyna s³u¿y tylko do sprawdzania ruchu
przy u¿yciu aplikacji korzystaj±cych z libpcap).
Je¶li chodzi o firmware dla karty, to poza obrazem dla PXE nic innego
nie znalaz³em.

-- 
Marcin Markowski
--1876591957-1155745905-1309340439=:72911--