Προβλημα με σελιδα

Τεχνικές και μόνο Συζητήσεις για WEB hosting servers, Mail servers, DNS servers. Όχι αναζήτηση υπηρεσιών εδώ!

Συντονιστές: WebDev Moderators, Super-Moderators

Απάντηση
Άβαταρ μέλους
nackgr
Δημοσιεύσεις: 1444
Εγγραφή: 22 Ιαν 2006 20:02
Τοποθεσία: Αθηνα
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από nackgr » 16 Νοέμ 2012 20:38

Εχω μια σελιδα με αστειες εικονες

Εχει περιπου 600 την μερα επισκεπτες
17000 φωτογραφιες
και 2 απο τα table στην βαση εχουν συνολο 30.000 εγγραφες

απο την στιγμη που περασε της 10000 φωτογραφιες εχει πεσει κατακόρυφα η αποδοση

βρισκετε σε
http://www.hetzner.de/hosting/produkte_vserver/vq7
centos

Απλα αρχιζει να φορτώνει διεργασίες μεχρι να κρασαρι
msqld και httpd

Μηπως ειναι ωρα να παω σε dedi ? αν και δεν νομιζω οτι ειναι τοσο μεγαλο πια που να θελει dedi
αυταααααααααααα...
e-Byte.gr
Dafuq.gr

Άβαταρ μέλους
Giannis78
Δημοσιεύσεις: 1334
Εγγραφή: 11 Οκτ 2005 12:45
Τοποθεσία: Assigned by DHCP
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από Giannis78 » 16 Νοέμ 2012 20:42

Λογικά ανεβάζει μεγάλο Load.... το συγκεκριμένο πακέτο είναι αρκετά μικρό... αν έχεις και cpanel δεν θα έχεις καλή απόδοση.
WebHosting Services
http://www.intechs.gr

Άβαταρ μέλους
nackgr
Δημοσιεύσεις: 1444
Εγγραφή: 22 Ιαν 2006 20:02
Τοποθεσία: Αθηνα
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από nackgr » 16 Νοέμ 2012 20:44

Giannis78 έγραψε:Λογικά ανεβάζει μεγάλο Load.... το συγκεκριμένο πακέτο είναι αρκετά μικρό... αν έχεις και cpanel δεν θα έχεις καλή απόδοση.
ειναι λογικο να μαζεύονται τοσα Procceses ? εφτανε 200-250

να παω σε dedi?

zpanel εχει
Συνημμένα
Χωρίς τίτλο.png
αυταααααααααααα...
e-Byte.gr
Dafuq.gr

Άβαταρ μέλους
Giannis78
Δημοσιεύσεις: 1334
Εγγραφή: 11 Οκτ 2005 12:45
Τοποθεσία: Assigned by DHCP
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από Giannis78 » 16 Νοέμ 2012 20:58

apo ti vlepo to mixanima menei apo mnimi.
WebHosting Services
http://www.intechs.gr

andreaslll
Δημοσιεύσεις: 680
Εγγραφή: 16 Νοέμ 2011 04:00

Προβλημα με σελιδα

Δημοσίευση από andreaslll » 16 Νοέμ 2012 21:18

Σιγά μην πας σε dedi για 600 επισκέπτες την ημέρα. Πιθανώς να υπάρχει κάποιο bug στη σελίδα σου που να δεσμεύει πόρους.

Αν δεν βρεις τι φταίει, μπορείς να βάλεις κάποιου τύπου caching που να σερβίρει στατικές σελίδες αντί για δυναμικές μαζί με ένα web server υψηλής απόδοσης όπως τον nginx, και να ξεχάσεις το θέμα για πάντα.

Άβαταρ μέλους
nackgr
Δημοσιεύσεις: 1444
Εγγραφή: 22 Ιαν 2006 20:02
Τοποθεσία: Αθηνα
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από nackgr » 16 Νοέμ 2012 21:32

το προβλημα ομως δεν ειναι η cpu ειναι η sql το ιδιο πραγμα ειναι να κανω αυτο που λες
αυταααααααααααα...
e-Byte.gr
Dafuq.gr

Άβαταρ μέλους
fafos
Script Master
Δημοσιεύσεις: 6231
Εγγραφή: 30 Νοέμ 2004 03:09

Προβλημα με σελιδα

Δημοσίευση από fafos » 16 Νοέμ 2012 23:35

profanos.. kapou kaleis oles tis eggrafes apo thn vash... merikes fores to kanei kai to metrhma ana kathgoria (p.x. "Zoakia: 200 photos, Anthropakia:340 photos klp)
kati tetoia einai thanatos gia tous servers giauto kai pezoume me cache..
Οι πάνες και οι πολιτικοί πρέπει να αλλάζονται συχνά για τον ίδιο λόγο...

ploupas
Δημοσιεύσεις: 60
Εγγραφή: 04 Νοέμ 2011 20:47
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από ploupas » 18 Νοέμ 2012 19:41

1) Βαράς swap αλύπητα
2) cp /etc/(mysql/)my.cnf http://www.freestuff.gr/forums/viewtopic.php?p=577318
3) μπορείς να αγοράζεις άλλο box μέχρι να ξεμείνεις από budget και βάλεις nginx/varnish(more suitable for static) μπροστά και να γυρίσεις 3-4 "σκαλιά" πίσω σε box

Άβαταρ μέλους
nackgr
Δημοσιεύσεις: 1444
Εγγραφή: 22 Ιαν 2006 20:02
Τοποθεσία: Αθηνα
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από nackgr » 18 Νοέμ 2012 23:06

Κατι εκανα

http://forumakias.gr/

Στο μηχάνημα περασα nginx/varnish/memcache

τωρα εχουμε 2 vps το κοστος βγαινει στα 35 συνολο να δωσω αλλα 10 να παω σε dedi να μην ασχοληθώ ξανα να παω και τα υπολοιπα site (14) ολα σε ενα μηχάνημα και τελος .

το μηχανημα ειναι
Intel Core i7 920
2x HDD 1,5 TB SATA
6x RAM 2048 MB DDR3-1066


καποια προταση για το my.cnf δεν το εχω πειραξει ακομα ειναι το μαμα

Κώδικας: Επιλογή όλων

[mysqld]
skip-external-locking
query_cache_limit=3M
query_cache_size=128M
query_cache_type=1
max_connections=1000
interactive_timeout=100
wait_timeout=500
connect_timeout=10
thread_stack=128K
thread_cache_size=256
myisam-recover=BACKUP
key_buffer=256M
join_buffer=2M
max_allowed_packet=32M
table_cache=4096
sort_buffer_size=4M
read_buffer_size=4M
read_rnd_buffer_size=4M

tmp_table_size=256M
max_heap_table_size=256M

max_connect_errors=10
thread_concurrency=24
myisam_sort_buffer_size=96M
#skip-locking
#skip-bdb
expire_logs_days=10
local-infile=0

log-slow-queries
open_files_limit=8192
αυταααααααααααα...
e-Byte.gr
Dafuq.gr

ploupas
Δημοσιεύσεις: 60
Εγγραφή: 04 Νοέμ 2011 20:47
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από ploupas » 18 Νοέμ 2012 23:55

long_query_time = 1
log-slow-queries = /var/log/mysql/mysql-slow.log

Για να βλέπεις κάπου ποια queries laggaroun

κατά τ' άλλα μπορείς να δοκιμάσεις κάτι πιο ρεαλιστικό για configuration σαν:

key_buffer = 32M
max_allowed_packet = 32M
thread_stack = 192K (σημείωσης: 192K για 32 bit ή 256K για 64 bit)
thread_cache_size = 8/16 (http://hashmysql.org/wiki/Tuning_System_Variables)


query_cache_limit = 2M
query_cache_size = 32M
max_allowed_packet = 32M
key_buffer = 32M

Άβαταρ μέλους
Cha0s
SysAdmin
Δημοσιεύσεις: 10242
Εγγραφή: 28 Ιούλ 2001 03:00

Προβλημα με σελιδα

Δημοσίευση από Cha0s » 20 Νοέμ 2012 00:29

Για να ρυθμίσεις την mysql μπορείς να χρησιμοποιήσεις το mysqltuner.pl script.

Άσε την mysql να τρέχει για καμια μέρα χωρίς restart (αν δεν κολλήσει μέχρι τότε :P ) για να μαζέψει αρκετά stats και δοκίμασε να τρέξεις αυτά:

Κώδικας: Επιλογή όλων

cd ~
wget https://raw.github.com/rackerhacker/MySQLTuner-perl/master/mysqltuner.pl
chmod +x mysqltuner.pl
./mysqltuner.pl
Το script αυτό θα τσεκάρει τα stats και τις ρυθμίσεις της mysql και θα σου προτείνει αλλαγές για το my.cnf για να παίζει η mysql με τις σωστές ρυθμίσεις (cache/buffers κλπ) για τον φόρτο των βάσεων σου συγκεκριμένα.

Έχει και ένα σημείο που λέει με το υπάρχον config πόση maximum ram μπορεί να πιάσει η mysql.
Καλο είναι αυτό να μην είναι πολύ μεγάλο ποσοστό της συνολικής σου ram γιατί δεν θα μένει διαθέσιμη μνήμη για τα υπόλοιπα processes.
Αν και έχεις ήδη πολύ λίγη ram. Πόσα MB είναι η βάση συνολικά;

Αν δεις ότι έχει warning στο 'Temporary tables created on disk' μπορείς να ορίσεις ένα tmpdir=/mysqltmp στο my.cnf και να φτιάξεις ένα φάκελο /mysqltmp όπου θα κάνεις mount ένα ramdrive πχ 128MB.

πχ

Κώδικας: Επιλογή όλων

mkdir /mysqltmp
mount tmpfs -t tmpfs -o size=128M /mysqltmp
/etc/init.d/mysqld restart (ή /etc/init.d/mysql restart αν είσαι σε debian/ubuntu)
Έτσι ότι tmp table πάει να γράψει η mysql στον /mysqltmp (στον δίσκο δηλαδή υπό κανονικές συνθήκες), θα το γράφει στην ram στην ουσία και θα τρέχει ακαριαία αντί να περιμένει τον δίσκο (ειδικά αν swapάρει τόσο άσχημα).
Ίσως χρειαστεί λίγο παραπάνω χώρο ανάλογα πόσο μεγάλα θα είναι τα tmp tables.
Απλά αυξάνεις το size=128M

Βέβαια αυτό θα σου φάει μέρος της ήδη λίγης ram οπότε ίσως να μην βολεύει.

Για να γίνεται αυτόματα mount το ramdrive όταν κάνεις reboot τρέξε αυτό:

Κώδικας: Επιλογή όλων

echo "tmpfs  /mysqltmp  tmpfs size=128M 0 0" >> /etc/fstab
Γενικά ότι μπορείς να ρίξεις στην ram (page cache, memcache, mysql cache) ή ότι μπορείς να απενεργοποιήσεις που γράφει στον δίσκο (πχ access logs του apache) θα βοηθήσει σε user peaks να εκτελεί πιο γρήγορα τα requests.


Για το μηχάνημα που λες μήπως έχει και πάλι λίγη ram;
Δεν ξέρω τι φόρτο έχεις και αν χρειάζεσαι παραπάνω, αλλά αν σε παίρνει οικονομικά να έχεις τουλάχιστον 4GB Ram δεν θα πάνε άχρηστα σίγουρα με τόσες φωτογραφίες για caching ;)


Με τον varnish ανάλογα τι είδους κίνηση έχεις (logged in users / anonymous users) μπορείς να πετύχεις πολύ καλό caching και σε σελίδες όχι μόνο σε static content (εικόνες, css, js κλπ).
Μιας και δεν έχεις αρκετή ram μπορείς να τον βάλεις να κρατάει την cache στον δίσκο αντί για την ram btw.

Στα τελευταία projects μου βάζω παντού varnish και σε σωστά στημένα sites έχω δει απίστευτες επιδόσεις!
Σε wordpress ειδικά με έτοιμο Plugin που παίζει μπορείς ουσιαστικά να έχεις cached όλο το site επ αόριστον και μόλις κάνεις νέο post ή γίνει νέο comment αυτόματα να κάνει purge τα σχετικά urls εμφανίζοντας το νέο content ακαριαία σαν να μην υπήρχε cache!

Σε δοκιμές που έκανα με 7000 ταυτόχρονα connections (από 7 διαφορετικούς servers) επί 10.000 requests το σύστημα τους εξηπηρέτησε όλους σηκώνοντας 510mbit upload κίνηση και το cpu usage δεν ανέβηκε πρακτικά καθόλου.
Ο varnish σέρβιρε όλα τα requests από την cache (ram) χωρίς να ιδρώνει καθόλου :D

Πραγματικά απίστευτο εργαλείο αν το site από κάτω είναι καλά στημένο!
Τελευταία επεξεργασία από το μέλος Cha0s την 21 Νοέμ 2012 18:22, έχει επεξεργασθεί 1 φορά συνολικά.

Άβαταρ μέλους
nackgr
Δημοσιεύσεις: 1444
Εγγραφή: 22 Ιαν 2006 20:02
Τοποθεσία: Αθηνα
Επικοινωνία:

Προβλημα με σελιδα

Δημοσίευση από nackgr » 21 Νοέμ 2012 14:19

θεος ευχαριστω εχω μπολικο διαβασμα! :D


Τα περασα ολα σε dedi ι7 920 12gb ram


Κώδικας: Επιλογή όλων

 >>  MySQLTuner 1.2.0 - Major Hayden <major@mhtx.net>
 >>  Bug reports, feature requests, and downloads at http&#58;//mysqltuner.com/
 >>  Run with '--help' for additional options and output filtering
Please enter your MySQL administrative login&#58; root
Please enter your MySQL administrative password&#58;

-------- General Statistics --------------------------------------------------
&#91;--&#93; Skipped version check for MySQLTuner script
&#91;OK&#93; Currently running supported MySQL version 5.5.28
&#91;OK&#93; Operating on 64-bit architecture

-------- Storage Engine Statistics -------------------------------------------
&#91;--&#93; Status&#58; +Archive -BDB -Federated +InnoDB -ISAM -NDBCluster
&#91;--&#93; Data in MyISAM tables&#58; 10M &#40;Tables&#58; 118&#41;
&#91;--&#93; Data in InnoDB tables&#58; 176K &#40;Tables&#58; 3&#41;
&#91;--&#93; Data in PERFORMANCE_SCHEMA tables&#58; 0B &#40;Tables&#58; 17&#41;
&#91;!!&#93; Total fragmented tables&#58; 9

-------- Security Recommendations  -------------------------------------------
&#91;OK&#93; All database users have passwords assigned

-------- Performance Metrics -------------------------------------------------
&#91;--&#93; Up for&#58; 19h 19m 20s &#40;157K q &#91;2.268 qps&#93;, 24K conn, TX&#58; 196M, RX&#58; 33M&#41;
&#91;--&#93; Reads / Writes&#58; 73% / 27%
&#91;--&#93; Total buffers&#58; 168.0M global + 2.8M per thread &#40;151 max threads&#41;
&#91;OK&#93; Maximum possible memory usage&#58; 583.2M &#40;4% of installed RAM&#41;
&#91;OK&#93; Slow queries&#58; 0% &#40;0/157K&#41;
&#91;OK&#93; Highest usage of available connections&#58; 8% &#40;13/151&#41;
&#91;OK&#93; Key buffer size / total MyISAM indexes&#58; 8.0M/1.9M
&#91;OK&#93; Key buffer hit rate&#58; 100.0% &#40;3M cached / 523 reads&#41;
&#91;!!&#93; Query cache is disabled
&#91;OK&#93; Sorts requiring temporary tables&#58; 0% &#40;0 temp sorts / 33K sorts&#41;
&#91;!!&#93; Temporary tables created on disk&#58; 49% &#40;31K on disk / 63K total&#41;
&#91;!!&#93; Thread cache is disabled
&#91;OK&#93; Table cache hit rate&#58; 95% &#40;134 open / 141 opened&#41;
&#91;OK&#93; Open file limit used&#58; 20% &#40;212/1K&#41;
&#91;OK&#93; Table locks acquired immediately&#58; 99% &#40;104K immediate / 105K locks&#41;
&#91;OK&#93; InnoDB data size / buffer pool&#58; 176.0K/128.0M

-------- Recommendations -----------------------------------------------------
General recommendations&#58;
    Run OPTIMIZE TABLE to defragment tables for better performance
    MySQL started within last 24 hours - recommendations may be inaccurate
    Enable the slow query log to troubleshoot bad queries
    When making adjustments, make tmp_table_size/max_heap_table_size equal
    Reduce your SELECT DISTINCT queries without LIMIT clauses
    Set thread_cache_size to 4 as a starting value
Variables to adjust&#58;
    query_cache_size &#40;>= 8M&#41;
    tmp_table_size &#40;> 16M&#41;
    max_heap_table_size &#40;> 16M&#41;
    thread_cache_size &#40;start at 4&#41;
αυταααααααααααα...
e-Byte.gr
Dafuq.gr

Απάντηση

Επιστροφή στο “Apache, IIS, DNS Servers”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 3 επισκέπτες