[Berlin-wireless] Paketverluste im Tunnel

Marc freifunkml
Mo Jun 15 18:09:10 CEST 2015


Hallo Phillip,

TCP wäre nur zum testen. Schlechter als jetzt wirds ja nicht werden. ;)

Am 14.06.2015 um 23:38 schrieb Philipp Borgers:

> Es ist keine gute Idee auf TCP umzusteigen! Ev. erklärt der folgenden Link
> warum:
>
> http://sites.inka.de/bigred/devel/tcp-tcp.html
>
> Langfristig würde ich TCP auf den Server gerne abschalten...
>
> On Sun, Jun 14, 2015 at 11:24:28PM +0200, Marc Kura wrote:
>> Hallo zusammen,
>>
>> Ich habe hier einen VDSL-Anschluss mit einem WDR3500 unter Kathleen
>> 0.1.1 (die Ergebnisse mit 0.1.0 waren gleich) dahinter.
>>
>> Im Grunde genommen funktioniert alles, nur ist die Internetverbindung
>> manchmal extrem langsam.
>>
>> Beim Debuggen habe ich festgestellt, dass im Tunnel immer wieder dann
>> Paketverluste sind, wenn die Probleme auftreten. Die normale
>> Internetverbindung über die Fritzbox funktioniert einwandfrei.
>> Paketverluste vom WDR ins Internet treten nicht auf, nur der Tunnel ist
>> davon betroffen.
>>
>> root at 10-230-96-1:/etc/config# ping -Iffvpn 172.31.240.1
>> PING 172.31.240.1 (172.31.240.1): 56 data bytes
>> 64 bytes from 172.31.240.1: seq=1 ttl=64 time=33.594 ms
>> [...]
>> ^C
>> --- 172.31.240.1 ping statistics ---
>> 366 packets transmitted, 354 packets received, 3% packet loss
>> round-trip min/avg/max = 17.951/25.516/173.580 ms
> Es gibt auch keine Paketverluste vom WDR zur öffentlichen IP des VPN-Servers?
>
> Was sagt denn ein traceroute? Wo verlieren wir die Päckchen?

Mal von einem dedizierten Server in Frankreich getestet:

root at www:/var/log# mtr -rc25 vpn03a.berlin.freifunk.net
Start: Mon Jun 15 15:50:07 2015
HOST: www                         Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- Val59-7k-1-10G.firstheber  0.0%    25    0.4   0.3   0.3   0.4   0.0
  2.|-- 91.236.255.65              0.0%    25    0.2   0.3   0.2   2.0   0.3
  3.|-- cr1-e7-2-firstheberg.cust  0.0%    25    5.7   5.6   5.5   5.7   0.0
  4.|-- ge-1-1-cr8.srf-cbv.fr.rt.  0.0%    25    5.6   9.4   5.5  23.0   6.5
  5.|-- te-4-1-cr9.tlcy2-ams.nl.r  0.0%    25   15.4  17.8  15.4  25.1   3.3
  6.|-- xe-0-0-1.core-ams14.as672  0.0%    25   16.0  16.2  15.8  20.9   1.0
  7.|-- xe-1-2-0.0.core-b30.as672  0.0%    25   29.5  29.5  29.4  30.3   0.0
  8.|-- vl490.octalus.in-berlin.d  0.0%    25   29.6  29.8  29.4  36.5   1.4
  9.|-- vlan84.nautilus.in-berlin  0.0%    25   29.7  29.9  29.7  31.6   0.3
 10.|-- freifunk-gw.in-berlin.de   4.0%    25   29.8  42.7  29.6 164.7  35.8
 11.|-- vpn03.berlin.freifunk.net  4.0%    25   30.0  32.4  29.8  80.6  10.3
root at www:/var/log#

vpn03b und c (seit wann gibt es eigentlich c?) sind sauber, zu der
Uhrzeit kommt noch +2 Stunden.

Vom Router aus sieht es gerade so aus (mtr geht da irgendwie nicht, das
Ergebnis bleibt leer):

traceroute to vpn03a.berlin.freifunk.net (77.87.48.10), 30 hops max, 38
byte packets
 1  192.168.178.1 (192.168.178.1)  0.050 ms  0.587 ms  0.669 ms
 2  217.0.119.68 (217.0.119.68)  17.686 ms  17.379 ms  17.722 ms
 3  217.0.77.62 (217.0.77.62)  21.155 ms  19.302 ms  19.273 ms
 4  b-ea7-i.B.DE.NET.DTAG.DE (62.154.46.186)  23.324 ms  21.532 ms 
23.500 ms
 5  te-0-1-0-6.core-b2.as6724.net (62.157.250.34)  18.761 ms  18.840 ms 
18.629 ms
 6  ae2.0.core-b30.as6724.net (85.214.0.69)  19.222 ms  13.834 ms  14.802 ms
 7  vl490.octalus.in-berlin.de (85.214.1.141)  18.917 ms  18.688 ms 
24.268 ms
 8  vlan84.nautilus.in-berlin.de (192.109.82.67)  19.374 ms  19.067 ms 
21.079 ms
 9  freifunk-gw.in-berlin.de (217.197.91.139)  19.182 ms  20.516 ms 
23.649 ms
10  vpn03.berlin.freifunk.net (77.87.48.10)  25.548 ms  19.557 ms  19.447 ms
root at 10-230-96-1:/etc/config#

Aus Richtung eines dediziertem Servers in Dallas (kann auch Atlanta
gewesen sein):

root at vpn3:~# mtr -rc25 vpn03a.berlin.freifunk.net
Start: Mon Jun 15 15:49:10 2015
HOST: vpn3                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 199.233.245.254            0.0%    25    0.5   2.7   0.4  54.0  10.7
  2.|-- gi0-0-0-5.agr21.atl01.atl  0.0%    25    0.9   0.8   0.6   2.1   0.2
  3.|-- te0-9-1-2.ccr42.atl01.atl  0.0%    25    0.8   0.8   0.8   1.1   0.0
  4.|-- be2171.mpd22.dca01.atlas.  0.0%    25   11.9  12.0  11.9  13.3   0.2
  5.|-- be2151.ccr42.jfk02.atlas.  0.0%    25   18.5  18.3  18.1  19.3   0.0
  6.|-- be2490.ccr42.lon13.atlas.  0.0%    25   90.2  90.4  90.1  91.5   0.3
  7.|-- be2488.ccr42.ams03.atlas.  0.0%    25  107.2 107.2 107.1 107.5   0.0
  8.|-- be2187.ccr42.ham01.atlas.  0.0%    25  106.9 105.8 105.6 106.9   0.2
  9.|-- be2174.rcr21.ber01.atlas.  0.0%    25  109.4 112.8 109.3 128.2   6.6
 10.|-- be2470.rcr11.ber02.atlas.  0.0%    25  111.0 111.0 110.9 111.2   0.0
 11.|-- 149.6.170.98               0.0%    25  117.2 117.4 117.2 117.9   0.0
 12.|-- ge101831.m40e.ak.all.de    0.0%    25  116.8 122.1 115.7 181.8  16.8
 13.|-- vl490.octalus.in-berlin.d  0.0%    25  123.2 123.0 122.6 123.7   0.0
 14.|-- vlan84.nautilus.in-berlin  0.0%    25  119.9 120.0 119.8 120.3   0.0
 15.|-- freifunk-gw.in-berlin.de   0.0%    25  119.8 120.1 119.7 120.6   0.0
 16.|-- vpn03.berlin.freifunk.net  4.0%    25  115.9 119.7 115.6 195.4  16.2
root at vpn3:~#


Aus Amsterdamer Sicht siehts von einer virtuellen Maschine so aus:

root at vps1:~# mtr -rc25 vpn03a.berlin.freifunk.net
HOST: vps1                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 2a00:d880:3:1::1           0.0%    25   28.5   7.2   0.4  29.8   9.9
  2.|-- strato.nikhef.nlsix.net    0.0%    25    1.8   3.7   1.8  32.9   6.6
  3.|-- xe-1-2-0.0.core-b30.as672  0.0%    25   15.5  15.9  15.3  27.8   2.5
  4.|-- 2001:7f8:19:1::73e6:1      0.0%    25   25.4  26.4  25.3  43.3   3.7
  5.|-- lo.nautilus.in-berlin.de   0.0%    25   25.6  25.8  25.6  29.0   0.6
  6.|-- freifunk-bgp.in-berlin.de  0.0%    25   25.8  25.9  25.6  27.9   0.4
  7.|-- 2001:bf7:b101:1::10        0.0%    25   26.0  27.1  25.8  34.1   2.4
root at vps1:~#

5 Minuten später (aus Amsterdam):
root at vps1:~# mtr -rc25 vpn03a.berlin.freifunk.net
HOST: vps1                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 2a00:d880:3:1::1           0.0%    25   34.8   4.8   0.5  34.8   7.1
  2.|-- strato.nikhef.nlsix.net    0.0%    25    2.0   2.7   1.8  14.8   2.6
  3.|-- xe-1-2-0.0.core-b30.as672  0.0%    25   15.5  17.0  15.3  44.8   5.9
  4.|-- 2001:7f8:19:1::73e6:1      4.0%    25   25.5  25.5  25.4  26.2   0.1
  5.|-- lo.nautilus.in-berlin.de   0.0%    25   25.7  25.8  25.6  26.0   0.1
  6.|-- freifunk-bgp.in-berlin.de  0.0%    25   26.0  26.8  25.7  37.1   2.7
  7.|-- 2001:bf7:b101:1::10        4.0%    25   26.3  32.7  25.8 171.4  29.6
root at vps1:~#

Scheint auch von der Route abhängig zu sein:

root at vps1:~# mtr -rc25 vpn03b.berlin.freifunk.net
HOST: vps1                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 81.4.104.1                 0.0%    25    2.8   5.4   0.3  13.3   4.4
  2.|-- weservit.openpeering.tele  0.0%    25    2.0   5.4   1.6  15.1   4.4
  3.|-- xe-1-1-0-0.bgr1-r1.sysele  0.0%    25   28.2  17.3  15.7  33.7   4.3
  4.|-- xe-0-2-0-0.blu1-r2.sysele  0.0%    25   16.4  18.6  16.2  47.8   7.4
  5.|-- ae0-0.blu1-r1.syseleven.n  0.0%    25   16.1  20.1  16.0  64.8  11.6
  6.|-- freifunk.bcix.de           0.0%    25   16.3  16.2  16.1  16.6   0.1
  7.|-- vpn03b.berlin.freifunk.ne  0.0%    25   16.8  16.6  16.2  19.5   0.7
root at vps1:~#


Mit der Route aus Frankreich siehts zeitgleich immer noch so aus:

Start: Mon Jun 15 15:57:45 2015
HOST: www                         Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- Val59-7k-1-10G.firstheber  0.0%    25    0.3   0.8   0.3  10.3   1.9
  2.|-- 91.236.255.65              0.0%    25    0.3   0.3   0.2   0.9   0.0
  3.|-- cr1-e7-2-firstheberg.cust  0.0%    25    5.6   5.7   5.5   6.0   0.0
  4.|-- ge-1-1-cr8.srf-cbv.fr.rt.  0.0%    25    5.7   6.8   5.5  18.4   3.4
  5.|-- te-4-1-cr9.tlcy2-ams.nl.r  0.0%    25   15.4  16.6  15.4  22.1   1.9
  6.|-- xe-0-0-1.core-ams14.as672  0.0%    25   16.0  16.3  15.8  21.8   1.1
  7.|-- xe-1-2-0.0.core-b30.as672  0.0%    25   29.5  29.8  29.4  35.0   1.0
  8.|-- vl490.octalus.in-berlin.d  0.0%    25   29.5  29.6  29.4  30.0   0.0
  9.|-- vlan84.nautilus.in-berlin  0.0%    25   30.0  41.2  29.6 178.7  39.5
 10.|-- freifunk-gw.in-berlin.de   4.0%    25  154.7  44.8  29.6 154.7  36.4
 11.|-- vpn03.berlin.freifunk.net  8.0%    25   73.4  32.3  29.8  73.4   9.0
root at www:~#

Damit gibt es eigentlich von fast überall her Paketverluste zu der
öffentlichen IP. Leider reichen meine Netzwerkkenntnisse nicht weiter,
um das Problem weiter einzugrenzen.


>
>> Die openvpn-Config ist Standard:
>> config openvpn 'ffvpn'
>>         option client '1'
>>         option nobind '1'
>>         option dev 'ffvpn'
>>         option dev_type 'tun'
>>         option persist_key '1'
>>         option keepalive '10 60'
>>         option ns_cert_type 'server'
>>         option comp_lzo 'no'
> Du musst die Kompression einschalten, wenn du TCP verwenden willst.
>
>>         option script_security '2'
>>         option cipher 'none'
> Und einen passend Cipher (AES-256-CBC) wählen.
>
>>         option status '/var/log/openvpn-status-ffvpn.log'
>>         option up '/etc/openvpn/ffvpn-up.sh'
>>         option route_nopull '1'
>>         option enabled '1'
>>         option proto 'udp'
>>         option remote 'vpn03.berlin.freifunk.net 1194 udp'
>>         option ca '/lib/uci/upload/cbid.openvpn.ffvpn.ca'
>>         option cert '/lib/uci/upload/cbid.openvpn.ffvpn.cert'
>>         option key '/lib/uci/upload/cbid.openvpn.ffvpn.key'
>>
>> Die TCP-Config funktioniert irgendwie gar nicht (es kommt lt. logread
>> keine Verbindung zu Stande). In den Beispielen ist noch der
>> Backup-Server vpn03-backup.berlin.freifunk.net erwähnt, der reagiert
>> aber irgendwie weder auf TCP noch UDP-Tunnel. Eine Änderung dediziert
>> auf den 03a oder 03b ergibt auch keine Änderung.
> Der Backup-Server funktioniert nur, wenn vpn03{a,b,c} ausfallen.

Ahh, sagt das doch mal jemand. ;)

Da die Probleme ja anscheinend bei allen auftreten: Hat jemand eine Idee
dazu?


Gruß,
Marc





Mehr Informationen über die Mailingliste Berlin