Akamai - τι είναι, τι κάνει

ζητάτε υπηρεσίες σχετικά με την κατασκευή σελίδων; (design, web hosting, graphics, web programming).

Συντονιστής: Super-Moderators

Απάντηση
Άβαταρ μέλους
_tasos
Δημοσιεύσεις: 116
Εγγραφή: 03 Μάιος 2007 15:06
Επικοινωνία:

Akamai - τι είναι, τι κάνει

Δημοσίευση από _tasos » 05 Δεκ 2012 09:40

trisstann έγραψε:Κύριοι έχω ένα site που...
Καλημέρα.

Αν αυτό που σε ενδιαφέρει είναι να μειώσεις το bandwidth που καταναλώνει μηνιαία η σελίδα σου, υπάρχει και η λύση του CloudFlare http://www.cloudflare.com/.

Λειτουργεί σαν ενδιάμεσος server και κάνει cache όλα τα static αρχεία (.jpg, .js, .css, κτλ). Το χρησιμοποιώ σε site με μεγάλη επισκεψιμότητα και μας γλιτώνει από λίγα TB το μήνα.

blueice
Δημοσιεύσεις: 10
Εγγραφή: 27 Ιούλ 2011 16:02
Επικοινωνία:

Akamai - τι είναι, τι κάνει

Δημοσίευση από blueice » 05 Δεκ 2012 11:48

Καλημέρα,
ναι και το cloudflare είναι αρκετά αξιόλογη και πολύ φθηνή λύση.
Είχα χρησιμοποιήσει την Pro έκδοσή της σε έναν πελάτη που του είχα βάλει και varnish, σκοπός ήταν απλά να μειωθεί το bandwidth μιας και κατά τα άλλα μια χαρά ήταν το varnish.
Το κακό όμως ήταν ότι καθημερινά για κάποια λεπτά η σελίδα έπεφτε, ενώ για το διάστημα αυτό υπήρχε και αναφορά στο system status του cloudflare. Για έναν απαιτητικό πελάτη αυτό δεν είναι αποδεκτό.
Έτσι έμεινα ξανά με τον varnish τον οποίο και εγώ συστήνω ανεπιφύλακτα. Έχω έναν πελάτη με 800.000 pageviews και το κόστος για τον server είναι αστείο. Πραγματικά δεν ξέρω τι θα έκανα χωρίς αυτό.
από πλευράς ποιότητας το CDN σίγουρα είναι καλύτερο αλλά από πλευράς κόστους/απόδοση πιστεύω ότι ένα καλά ρυθμισμένο varnish αφήνει πολύ πίσω το CDN.
Το καθένα λοιπόν έχει το δικό του κοινό.

_tasos έγραψε:
trisstann έγραψε:Κύριοι έχω ένα site που...
Καλημέρα.

Αν αυτό που σε ενδιαφέρει είναι να μειώσεις το bandwidth που καταναλώνει μηνιαία η σελίδα σου, υπάρχει και η λύση του CloudFlare http://www.cloudflare.com/.

Λειτουργεί σαν ενδιάμεσος server και κάνει cache όλα τα static αρχεία (.jpg, .js, .css, κτλ). Το χρησιμοποιώ σε site με μεγάλη επισκεψιμότητα και μας γλιτώνει από λίγα TB το μήνα.

Άβαταρ μέλους
cherouvim
Script Master
Δημοσιεύσεις: 3137
Εγγραφή: 13 Ιούλ 2005 22:56
Τοποθεσία: Athens, Greece
Επικοινωνία:

Akamai - τι είναι, τι κάνει

Δημοσίευση από cherouvim » 05 Δεκ 2012 11:58

blueice έγραψε:...αλλά από πλευράς κόστους/απόδοση πιστεύω ότι ένα καλά ρυθμισμένο varnish αφήνει πολύ πίσω το CDN.
Αναλόγως του προβλήματος που έχεις να λύσεις.

Το varnish και τα CDN λύνουν διάφορα προβλήματα με κάποια επικάλυψη.
Αν έχεις πρόβλημα που δεν στο λύνει το varnish τότε το varnish δεν σε βοηθάει.
Αν έχεις πρόβλημα που δεν στο λύνει το CDN τότε το CDN δεν σε βοηθάει.

Άβαταρ μέλους
trisstann
Δημοσιεύσεις: 243
Εγγραφή: 03 Νοέμ 2010 20:20

Akamai - τι είναι, τι κάνει

Δημοσίευση από trisstann » 05 Δεκ 2012 13:06

_tasos έγραψε:
trisstann έγραψε:Κύριοι έχω ένα site που...
Καλημέρα.

Αν αυτό που σε ενδιαφέρει είναι να μειώσεις το bandwidth που καταναλώνει μηνιαία η σελίδα σου, υπάρχει και η λύση του CloudFlare http://www.cloudflare.com/.

Λειτουργεί σαν ενδιάμεσος server και κάνει cache όλα τα static αρχεία (.jpg, .js, .css, κτλ). Το χρησιμοποιώ σε site με μεγάλη επισκεψιμότητα και μας γλιτώνει από λίγα TB το μήνα.
To ειδα και γω αυτο απλα βλεπω απο το network map οτι δεν εχει κανενα server στην Ελλαδα. Και επειδη εμενα το μεγαλο traffic ειναι στην Ελλαδα...

blueice
Δημοσιεύσεις: 10
Εγγραφή: 27 Ιούλ 2011 16:02
Επικοινωνία:

Akamai - τι είναι, τι κάνει

Δημοσίευση από blueice » 05 Δεκ 2012 14:06

trisstann έγραψε: To ειδα και γω αυτο απλα βλεπω απο το network map οτι δεν εχει κανενα server στην Ελλαδα. Και επειδη εμενα το μεγαλο traffic ειναι στην Ελλαδα...
Πάντως μου κάνει εντύπωση η ανάγκη σε κάποια σελίδα με φωτογραφίες κυρίως να πρέπει να είναι στην Ελλάδα για να είναι γρήγορη. Αν μιλούσαμε για παιχνίδια ή voip είναι προφανές αλλά για κάτι διαφορετικό νομίζω ότι με ένα σωστό optimize στον σέρβερ και επιλογή ενός καλού datacenter στην Ευρώπη δεν θα υπάρχει κάποια ουσιαστική διαφορά. Πιο πολύ χρόνο θα θέλει να δημιουργηθεί η σελίδα ( αν είναι πχ php-mysql) παρά να φτάσει στην Ελλάδα.
Για του λόγου το αληθές βάλε μια στατική σελίδα με φωτογραφίες στον σέρβερ σου και δοκίμασε πως φορτώνει από την Ελλάδα.

Άβαταρ μέλους
_tasos
Δημοσιεύσεις: 116
Εγγραφή: 03 Μάιος 2007 15:06
Επικοινωνία:

Akamai - τι είναι, τι κάνει

Δημοσίευση από _tasos » 05 Δεκ 2012 15:56

Χρησιμοποιώ το cloudflare σε ελληνικό site με 3.000.000 pageviews το μήνα, και είναι πολύ γρήγορο.

Υπήρχαν λίγες στιγμές που είχαμε πρόβλημα με το cloudflare, αλλά επανερχόταν σύντομα.

sassm430
Δημοσιεύσεις: 5
Εγγραφή: 05 Δεκ 2012 18:17

Akamai - τι είναι, τι κάνει

Δημοσίευση από sassm430 » 05 Δεκ 2012 18:23

καλησπέρα σας,

Έτυχε σήμερα να ψάχνω την λύση της Αkamai για άλλους λόγους (να βρω τίμες), και έπεσα στη συζήτηση σας.

Πάνω από ένα χρόνο η λογική που ακολουθώ σε κάποια μεγάλα site που είμαι sysadmin με

-8,654,977 pageviews/month
-άλλα με ~4M pageviews/month κλπ κλπ

έχω χτυπήσει και σε περίοδο εκλογών και
-500.000 pageviews /24h

πολλές ώρες της ημέρας παίζω με 20-40 mbit outgoing traffic
σε περίοδο εκλογών έχω δει και
-300 mbit για πολύ ώρα.


Μάλιστα πρόσφατα σε ενα site έφαγα και μια επίθεση με 250.000 concurrent requests επί 4 μέρες
έφτιαξα ενα φίλτρο με iptables και έκοψα όλοι την κίνηση εκτός Ελλάδας μέχρι να σηκώσω πολλαπλούς varnish στην Amazon ώστε να υπερισχύω της επίθεσης.
Όπου βαραγαμε για κάποιες ωρες συνολικά (όλοι οι varnish) πάνω από 5-10 gbit/sec

ώσπου να φτιάξω φίλτρα να συλλέξω ποιες ip χτυπάνε συνεχόμενα ώστε να τις κόψω. μετά έπεσα στα 0.7-1.2 gbit (έκοβα πολλά από το iptables)

με όλα αυτά θέλω να σας πω άπλα ότι με σωστό στήσιμο μπορείς να αντέξεις τεράστια peak ακόμα και σε μια περίοδο DoS


Η λύση που χρησιμοποιώ είναι:
Varnish με 2 server σε 2 διαφορετικές χώρες άρα και data center στην Eυρωπη

Η λογική τον 2 server σε 2 διαφορετικά data center έιναι για λόγους redundancy με sync τον 2 server ανά 5 λεπτά.

και αν χρειαστεί σηκώνω στο amazon όσους varnish θέλω πχ όπως στην περίπτωση της επίθεσης.

Αυτά σας τα ειπα άπλα για να σας δώσω δεδομένα από πραγματικά γεγονότα.

(συγχωρέστε τα τυχόν ορθογραφικά μου λάθη άλλα πότε δεν έμαθα να γράφω ελληνικά)

Τελίκα εμαθε κανεις τίμες απο Akamai?

Άβαταρ μέλους
Cha0s
SysAdmin
Δημοσιεύσεις: 10247
Εγγραφή: 28 Ιούλ 2001 03:00

Akamai - τι είναι, τι κάνει

Δημοσίευση από Cha0s » 05 Δεκ 2012 19:23

sassm430 έγραψε:Η λογική τον 2 server σε 2 διαφορετικά data center έιναι για λόγους redundancy με sync τον 2 server ανά 5 λεπτά.
Εννοείς sync των cache;

Αν ναι πως το κάνεις αυτό;
Λίγο που το είχα κοιτάξει στο Wiki του Varnish κάπου πήρε το μάτι μου ότι δεν γίνεται να έχει shared cache.


Btw καλωσόρισες στο FS :)

sassm430
Δημοσιεύσεις: 5
Εγγραφή: 05 Δεκ 2012 18:17

Akamai - τι είναι, τι κάνει

Δημοσίευση από sassm430 » 05 Δεκ 2012 19:54

Cha0s έγραψε:
sassm430 έγραψε:Η λογική τον 2 server σε 2 διαφορετικά data center έιναι για λόγους redundancy με sync τον 2 server ανά 5 λεπτά.
Εννοείς sync των cache;

Αν ναι πως το κάνεις αυτό;
Λίγο που το είχα κοιτάξει στο Wiki του Varnish κάπου πήρε το μάτι μου ότι δεν γίνεται να έχει shared cache.


Btw καλωσόρισες στο FS :)
Ευχαριστω, καλως σας βρηκα :)

Επειδη μου ειναι πολυ δυσκολο να γραφω ελληνικα και φανταζομαι τα greeklish δεν ειναι αποδεκτα, αν θες στειλε μου ενα pm mail,skype να σου πω οτι θες.

Παντως δεν ενοουσα να κανεις hot cache την cache των varnish ενοουσα το content και τη db.
Aν και υπαρχουν εμεσα τροποι να το κανεις (varnish) με διαφορα tricks.

πχ με grep tail -f awk kai httperf tou log file στο slave server :)
η πιο advanced με drbd se async mode κλπ κλπ
αυτα τα 2 μου ερχονται τωρα αμμεσα στο μυαλο.
παντως ενα site συνηθως οταν εχεις cold cache τραβαει ζωρια στο πιο προσφατα αρθρα,content klp klp ωποτε μπορεις να κανεις με καποια script ενα pre-warm την cache σου.

Άβαταρ μέλους
Cha0s
SysAdmin
Δημοσιεύσεις: 10247
Εγγραφή: 28 Ιούλ 2001 03:00

Akamai - τι είναι, τι κάνει

Δημοσίευση από Cha0s » 05 Δεκ 2012 20:39

Thanks για τις πληροφορίες. Κάτι αντίστοιχο κάνω και εγώ τώρα, έλεγα μήπως είχες βρει κάτι πιο robust :)

Έχω σκεφτεί μία προσέγγιση όπου όσοι νέοι varnish μπαίνουν στο pool δεν θα ζορίζουν τον web server μέχρι να γεμίζει η cache τους αλλά δεν το έχω δοκιμάσει να δω κατά πόσο είναι εφικτό.

Κάπως έτσι το φαντάζομαι:

Κώδικας: Επιλογή όλων

                                                         --> USERS
                                                        /
                                      -> EDGE VARNISH 1 ---> USERS
                                     /                  \
                                    /                    --> USERS
                                   /
                                  /                      --> USERS
                                 /                      /
WEBSERVER------->  MASTER VARNISH------> EDGE VARNISH 2 ---> USERS
                                 \                      \
                                  \                      --> USERS
                                   \  
                                    \                    --> USERS
                                     \                  /
                                      -> EDGE VARNISH X ---> USERS
                                                        \
                                                         --> USERS
Οπότε όποιος νέος varnish μπαίνει στο pool θα τραβάει την cache από τον master varnish.

Με σωστά expire headers θεωρητικά θα ακολουθούν όλοι τις αλλαγές στο content.

Κάπως έτσι κάνει scale και ο FMS της Adobe, οπότε σίγουρα δουλεύει σαν λύση, απλά δεν ξέρω τι θα κάνει με τα expires/purges κλπ. Πρέπει να το δοκιμάσω κάποια στιγμή να δω :)



Btw, δεν απαγορεύονται τα greeklish απόσο ξέρω (εκτός αν άλλαξε κάτι στους κανόνες του φόρουμ :) ) οπότε μην μασάς :D

sassm430
Δημοσιεύσεις: 5
Εγγραφή: 05 Δεκ 2012 18:17

Akamai - τι είναι, τι κάνει

Δημοσίευση από sassm430 » 05 Δεκ 2012 21:24

Cha0s έγραψε: Κάπως έτσι το φαντάζομαι:

Κώδικας: Επιλογή όλων

                                                         --> USERS
                                                        /
                                      -> EDGE VARNISH 1 ---> USERS
                                     /                  \
                                    /                    --> USERS
                                   /
                                  /                      --> USERS
                                 /                      /
WEBSERVER------->  MASTER VARNISH------> EDGE VARNISH 2 ---> USERS
                                 \                      \
                                  \                      --> USERS
                                   \  
                                    \                    --> USERS
                                     \                  /
                                      -> EDGE VARNISH X ---> USERS
                                                        \
                                                         --> USERS
Οπότε όποιος νέος varnish μπαίνει στο pool θα τραβάει την cache από τον master varnish.

Με σωστά expire headers θεωρητικά θα ακολουθούν όλοι τις αλλαγές στο content.
mia allagi tha ekana sto sxediaki sou
DEN tha eixa pote 1 master server alla 2 gia logous redundancy, pantos nai i logiki einai auti opou oi 2 master tha travane apethias apo ton web server kai i edge tha paizoun round robin tou master i apla an den apanti o master1 tote rota to master2 :)

kai an den exis mia treli katastasi kai ena poli pousharismeno/zorismeno sistima tha evaza tous varnish apethias na travane apo to web server. Depence on your situtation/setup!!

episis i logiki pou sou ipa sto proigoumeno me tail -f awk kai httperf i alios sync me rsync to log file kai meta topika httperf apo to log krataei olous tou varnish hot xoris na zorizi to olo sistima ... fantasou oti an exis 10 varnish apo piso kai gini ena web request APLA oi 10 varnish tha zitisoun san 10 clients oti exi idi cacharisti ston master! (siga min zoristi o master sou gia 10 epipleon request) aplo e? kai doulevi apsoga, etsi exis panta hot cache kai stin periferia

oso afora to expire klp de tha exis kanena provlima vevaia na thimase an valis px to master se 10 lepta cache kai to slave se 10 letpa exi sinolo 20 lepta!! isterisi me to pragmatiko site!!

Episis to sxedio pou mou edixes einai ga terasties oilopiisis pou stin elada de xero kanena site na exi toooosssi kinisi na theli pano apo 2-3 varnish fantasou oti 1 varnish pou ekana kapia extreme tests antexe pano apo 2000-3000 concurent requests PROSEXE concurent oxi xristes mesa sto site alla xristes pou to idio deuterolepto kanoun request!!!

an milisoume pio private mporo px na sou po kai onomata alla milame tora gia site tou tipou 50m pageviews/moth kai tha antexan kai me 1-2 varnish


PS stile pm kana mail i skype theoro oti tha eixe endiaferon na milisoume pio instant apo oti async opos edo

Άβαταρ μέλους
Cha0s
SysAdmin
Δημοσιεύσεις: 10247
Εγγραφή: 28 Ιούλ 2001 03:00

Akamai - τι είναι, τι κάνει

Δημοσίευση από Cha0s » 05 Δεκ 2012 21:34

Ναι εννοείται ότι τα πάντα θα είναι διπλά για redanduncy (no single point of failure).
Απλά για να ήταν πιο ευδιάκριτο το σχεδιάκι το έκανα με 1.

Ο λόγος που το σκέφτηκα έτσι είναι απλά για να μην χρειαστεί να μπω σε διαδικασία να κρατάω όλους τους varnish hot.
Μόνο τους master. Οπότε ότι νέο μπαίνει στο pool (πχ μαζεμένα μηχανάκια όπως σε μία περίπτωση DDoS όπως σου έτυχε) όλα αυτά δεν θα προσπαθούν να γίνουν hot διαβάζοντας το content από τους webservers αλλά από τους masters που είναι πιο «φθηνό» σε θέμα σπατάλη resources.

Το σκέφτηκα δηλαδή απλά για ταχύ scale σε περίπτωση attack or smth ώστε οι webservers να μην πέσουν.

Θα μπορούσε να γίνει και εντελώς αυτοματοποιημένο ώστε να ανοίγει AWS instances on demand ανάλογα τον φόρτο που έχουν οι masters να ξεφύγει τελείως το πράγμα :lol:


Anyway, just brainstorming, μην βγαίνω και offtopic :)

Έχεις pm ;)

sassm430
Δημοσιεύσεις: 5
Εγγραφή: 05 Δεκ 2012 18:17

Akamai - τι είναι, τι κάνει

Δημοσίευση από sassm430 » 06 Δεκ 2012 00:27

Cha0s έγραψε: Ο λόγος που το σκέφτηκα έτσι είναι απλά για να μην χρειαστεί να μπω σε διαδικασία να κρατάω όλους τους varnish hot.
den einai kai poli diskolo me to scriptaki kai ena cronjob
Cha0s έγραψε: Μόνο τους master. Οπότε ότι νέο μπαίνει στο pool (πχ μαζεμένα μηχανάκια όπως σε μία περίπτωση DDoS όπως σου έτυχε) όλα αυτά δεν θα προσπαθούν να γίνουν hot διαβάζοντας το content από τους webservers αλλά από τους masters που είναι πιο «φθηνό» σε θέμα σπατάλη resources.
Το σκέφτηκα δηλαδή απλά για ταχύ scale σε περίπτωση attack or smth ώστε οι webservers να μην πέσουν.
sosta se mia katastasi panic opos auti diavazis kalitera apo tous master an kai sti periptosi mou to provlima den itan i webserver kai oute zoristika logo autou! kremouse o varnish prin kan ftasi ston webserver me 250K request /sec

Cha0s έγραψε: Θα μπορούσε να γίνει και εντελώς αυτοματοποιημένο ώστε να ανοίγει AWS instances on demand ανάλογα τον φόρτο που έχουν οι masters να ξεφύγει τελείως το πράγμα :lol:
akrivos auto ekana meta apo ekini tin iperoxi mera pou perasa :) diavazontas to stats tou varnish se sindiasmo me ta stats apo tou ougoing tou ethernet interface pou vlepi ton exo kosmo

pantos ontos nomizo exoume vgi ligo off topic apo to Akamai, mallon gia Varnish kalitera na anixoume neo topic. Prin fame kai xilo.

opote as girisoume sto thema

Telika times den emathe kanis e?

ego xero gia ellada analogos ton ogko apo 0.25-0.35 cnts/gb apla apo diafora site pou exoun akamai alla exi na kani panta se sxesi me ti simfonia.

Apla ithela na to epiveveoso kai apo kapion allo

Άβαταρ μέλους
changlee
Δημοσιεύσεις: 373
Εγγραφή: 13 Φεβ 2005 00:46
Τοποθεσία: Πειραιάς
Επικοινωνία:

Akamai - τι είναι, τι κάνει

Δημοσίευση από changlee » 26 Ιαν 2015 19:01

_tasos έγραψε:Χρησιμοποιώ το cloudflare σε ελληνικό site με 3.000.000 pageviews το μήνα, και είναι πολύ γρήγορο.
Και σε τι κλάση κόστους είσαι περίπου;
Τεχνολογική Ανάπτυξη (1μ.Χ. - 1975) = Τεχνολογική Ανάπτυξη (1975 - Σήμερα)

Μπορείτε να με βρείτε στην κατασκευή ιστοσελίδων BLB.gr | Δωρεάν Disavow File

Απάντηση

Επιστροφή στο “Αναζήτηση Υπηρεσιών διαδικτύου”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες