1.9b : performances comparées avec ab

Publié le vendredi 16 juin 2006.

L’outil ab (Apache bench) mesure, entre autres, le nombre de requêtes par sec. dont est capable un serveur. Appliqué à Spip pour comparer 1.8 et 1.9b, il donne des résultats plus sévères que ceux qui ont déjà été publiés à partir de mesures basées sur wget.

La raison est simple : les mesures de temps faites avec wget comptabilisent l’écriture en fichier en plus du temps de service de page, alors que ab ne fait aucune écriture. Ce temps d’écriture peut être négligé si le temps de service est long, mais dans le cas contraire il va atténuer les rapports de temps lors des comparaisons, donc minorer le recul (ou l’avance) 1.9b.

C’est ce qui se vérifie expérimentalement. Pour la partie privée de Spip où les performances sont médiocres (environ 4 requêtes par sec. pour ma configuration), les résultats ab et wget sont presque identiques. Pour la partie publique qui est environ 10 fois plus rapide (cas du cache) ces résultats divergent, ab montrant un recul 1.9b plus important que ce que wget laissait penser.

Les résultats suivants pour différentes versions 1.9b des 2 derniers mois sont basés sur ab et sur la même base SQL que celle utilisée précédemment. Les scripts sont donnés en annexe.

Le gain est défini par le rapport (REF -TST)/TST de manière à pouvoir être comparé aux résultats précédemment obtenus avec wget. La valeur REF correspond à 1.8 et TST correspond à la valeur 1.9b SVN de la date indiquée.

Page d’accueil publique

{2006-04-01} Accueil  (Req/sec) REF - TST : 36.72 - 13.93 ==>  Gain publ. = -163.604 %

{2006-04-08} Accueil  (Req/sec) REF - TST : 37.27 - 14.24 ==>  Gain publ. = -161.728 %

{2006-04-15} Accueil  (Req/sec) REF - TST : 37.09 - 12.94 ==>  Gain publ. = -186.631 %

{2006-04-22} Accueil  (Req/sec) REF - TST : 36.98 - 14.18 ==>  Gain publ. = -160.79 %

{2006-05-01} Accueil  (Req/sec) REF - TST : 36.69 - 20.32 ==>  Gain publ. = -80.561 %

{2006-05-08} Accueil  (Req/sec) REF - TST : 37.36 - 18.33 ==>  Gain publ. = -103.819 %

{2006-05-15} Accueil  (Req/sec) REF - TST : 37.14 - 13.61 ==>  Gain publ. = -172.888 %

{2006-05-22} Accueil  (Req/sec) REF - TST : 37.50 - 3.02 ==>  Gain publ. = -1141.72 %

{2006-06-01} Accueil  (Req/sec) REF - TST : 36.14 - 2.97 ==>  Gain publ. = -1116.84 %

{2006-06-08} Accueil  (Req/sec) REF - TST : 37.05 - 3.07 ==>  Gain publ. = -1106.84 %

{2006-06-15} Accueil  (Req/sec) REF - TST : 36.65 - 13.12 ==>  Gain publ. = -179.345 %

A squelette constant (celui de 1.8)

{2006-04-01} Accueil  (Req/sec) REF - TST : 36.98 - 12.34 ==>  Gain publ. = -199.676 %

{2006-04-08} Accueil  (Req/sec) REF - TST : 38.15 - 13.92 ==>  Gain publ. = -174.066 %

{2006-04-15} Accueil  (Req/sec) REF - TST : 32.27 - 13.94 ==>  Gain publ. = -131.492 %

{2006-04-22} Accueil  (Req/sec) REF - TST : 38.11 - 13.20 ==>  Gain publ. = -188.712 %

{2006-05-01} Accueil  (Req/sec) REF - TST : 38.69 - 19.19 ==>  Gain publ. = -101.615 %

{2006-05-08} Accueil  (Req/sec) REF - TST : 37.94 - 18.81 ==>  Gain publ. = -101.701 %

{2006-05-15} Accueil  (Req/sec) REF - TST : 38.17 - 19.17 ==>  Gain publ. = -99.1132 %

{2006-05-22} Accueil  (Req/sec) REF - TST : 38.18 - 3.36 ==>  Gain publ. = -1036.31 %

{2006-06-01} Accueil  (Req/sec) REF - TST : 38.09 - 3.35 ==>  Gain publ. = -1037.01 %

{2006-06-08} Accueil  (Req/sec) REF - TST : 38.42 - 3.35 ==>  Gain publ. = -1046.87 %

{2006-06-15} Accueil  (Req/sec) REF - TST : 37.23 - 16.83 ==>  Gain publ. = -121.212 %

Page d’article publique

{2006-04-01} Article  (Req/sec) REF - TST : 41.46 - 13.92 ==>  Gain publ. = -197.845 %

{2006-04-08} Article  (Req/sec) REF - TST : 43.42 - 13.89 ==>  Gain publ. = -212.599 %

{2006-04-15} Article  (Req/sec) REF - TST : 43.61 - 14.19 ==>  Gain publ. = -207.329 %

{2006-04-22} Article  (Req/sec) REF - TST : 42.28 - 14.09 ==>  Gain publ. = -200.071 %

{2006-05-01} Article  (Req/sec) REF - TST : 43.21 - 17.30 ==>  Gain publ. = -149.769 %

{2006-05-08} Article  (Req/sec) REF - TST : 43.13 - 20.21 ==>  Gain publ. = -113.409 %

{2006-05-15} Article  (Req/sec) REF - TST : 43.29 - 12.52 ==>  Gain publ. = -245.767 %

{2006-05-22} Article  (Req/sec) REF - TST : 41.60 - 12.52 ==>  Gain publ. = -232.268 %

{2006-06-01} Article  (Req/sec) REF - TST : 41.62 - 12.52 ==>  Gain publ. = -232.428 %

{2006-06-08} Article  (Req/sec) REF - TST : 42.19 - 12.18 ==>  Gain publ. = -246.388 %

{2006-06-15} Article  (Req/sec) REF - TST : 42.81 - 12.58 ==>  Gain publ. = -240.302 %

A squelette constant (celui de 1.8)

{2006-04-01} Article  (Req/sec) REF - TST : 45.25 - 13.35 ==>  Gain publ. = -238.951 %

{2006-04-08} Article  (Req/sec) REF - TST : 43.44 - 14.49 ==>  Gain publ. = -199.793 %

{2006-04-15} Article  (Req/sec) REF - TST : 44.61 - 14.46 ==>  Gain publ. = -208.506 %

{2006-04-22} Article  (Req/sec) REF - TST : 43.46 - 14.00 ==>  Gain publ. = -210.429 %

{2006-05-01} Article  (Req/sec) REF - TST : 43.98 - 20.55 ==>  Gain publ. = -114.015 %

{2006-05-08} Article  (Req/sec) REF - TST : 43.69 - 20.67 ==>  Gain publ. = -111.369 %

{2006-05-15} Article  (Req/sec) REF - TST : 44.36 - 20.00 ==>  Gain publ. = -121.8 %

{2006-05-22} Article  (Req/sec) REF - TST : 43.00 - 20.43 ==>  Gain publ. = -110.475 %

{2006-06-01} Article  (Req/sec) REF - TST : 42.75 - 17.95 ==>  Gain publ. = -138.162 %

{2006-06-08} Article  (Req/sec) REF - TST : 43.63 - 20.31 ==>  Gain publ. = -114.82 %

{2006-06-15} Article  (Req/sec) REF - TST : 43.14 - 20.51 ==>  Gain publ. = -110.336 %

Page ecrire - partie privée

{2006-04-01} Ecrire   (Req/sec) REF - TST : 3.76 - 3.51 ==>  Gain priv. = -7.12251 %

{2006-04-08} Ecrire   (Req/sec) REF - TST : 3.75 - 2.06 ==>  Gain priv. = -82.0388 %

{2006-04-15} Ecrire   (Req/sec) REF - TST : 3.86 - 2.07 ==>  Gain priv. = -86.4734 %

{2006-04-22} Ecrire   (Req/sec) REF - TST : 3.88 - 2.06 ==>  Gain priv. = -88.3495 %

{2006-05-01} Ecrire   (Req/sec) REF - TST : 3.88 - 2.05 ==>  Gain priv. = -89.2683 %

{2006-05-08} Ecrire   (Req/sec) REF - TST : 3.85 - 2.05 ==>  Gain priv. = -87.8049 %

{2006-05-15} Ecrire   (Req/sec) REF - TST : 3.88 - 2.04 ==>  Gain priv. = -90.1961 %

{2006-05-22} Ecrire   (Req/sec) REF - TST : 3.75 - 2.06 ==>  Gain priv. = -82.0388 %

{2006-06-01} Ecrire   (Req/sec) REF - TST : 3.75 - 2.05 ==>  Gain priv. = -82.9268 %

{2006-06-08} Ecrire   (Req/sec) REF - TST : 3.86 - 1.61 ==>  Gain priv. = -139.752 %

{2006-06-15} Ecrire   (Req/sec) REF - TST : 3.86 - 2.46 ==>  Gain priv. = -56.9106 %

Page vue article - partie privée

{2006-04-01} Articles (Req/sec) REF - TST : 4.19 - 3.50 ==>  Gain priv. = -19.7143 %

{2006-04-08} Articles (Req/sec) REF - TST : 4.48 - 2.08 ==>  Gain priv. = -115.385 %

{2006-04-15} Articles (Req/sec) REF - TST : 4.49 - 2.09 ==>  Gain priv. = -114.833 %

{2006-04-22} Articles (Req/sec) REF - TST : 4.48 - 2.09 ==>  Gain priv. = -114.354 %

{2006-05-01} Articles (Req/sec) REF - TST : 4.49 - 2.06 ==>  Gain priv. = -117.961 %

{2006-05-08} Articles (Req/sec) REF - TST : 4.43 - 2.05 ==>  Gain priv. = -116.098 %

{2006-05-15} Articles (Req/sec) REF - TST : 4.49 - 2.02 ==>  Gain priv. = -122.277 %

{2006-05-22} Articles (Req/sec) REF - TST : 4.51 - 2.04 ==>  Gain priv. = -121.078 %

{2006-06-01} Articles (Req/sec) REF - TST : 4.49 - 2.02 ==>  Gain priv. = -122.277 %

{2006-06-08} Articles (Req/sec) REF - TST : 4.43 - 1.61 ==>  Gain priv. = -175.155 %

{2006-06-15} Articles (Req/sec) REF - TST : 4.24 - 2.45 ==>  Gain priv. = -73.0612 %

Commentaires

Le chiffres 1.8 (REF) sont constants tout au long de la mesure. Il n’en va pas de même pour 1.9b [1] et il y a là matière à étude. Néanmoins il ressort une tendance, la 1.9b étant environ 2 à 3 fois plus lente que 1.8.

Il y a un ordre de grandeur entre la partie privée (4 requètes/sec. - 1.8) et la partie publique (40 requêtes/sec. - 1.8)

Contrairement à 1.8 qui présente une différence suivant le type de page (accueil, articles...), 1.9 est plus homogène dans son comportement.

Mise en oeuvre

Les mesures sont faites en local. il faut :

disposer de 2 sites Spip, l’un comme référence, l’autre comme site de test, les deux ayant un environement équivalent (SQL, Plugins, squelette). Le site de test doit être sous "check-out" svn pour une étude historique.

disposer des commandes ab et éventuellement svn [2] pour une étude historique.

installer les 3 Shell-scripts qui automatisent les comparaisons avec ab : les scripts abv et abp comparent respectivement la partie privée et publique pour 2 types de page chacunes tandis que cmphisto lance ces scripts sur une série de versions (release) SVN.

La paramétrisation de ces scripts consiste à fixer :

l’emplacement des 2 sites 1.8 et 1.9 (URL et Path) en local.
les données minimales en base (N° d’article et Login/password)
les N valeurs de release SVN qu’on souhaite étudier (ne concerne que cmphisto)

Avant de lancer un script :

fermer toutes les applications,
désactiver l’économiseur d’écran et tous les "démons" potentiellement consommateurs de ressources machine (cron...)
bien s’assurer que les 2 sites sont équivalents en termes de bases SQL , Squelettes et Plugins.

Annexe

Les scripts ont été testés sous MacOS.

script cmphisto

#!/bin/sh

# Acquisition de plusieurs SVN dans TST pour comparaison avec une meme reference REF

# abv abp doivent etre dans le PATH, et personnalises

# svn doit etre installe et dans le PATH

#

# decommenter les lignes de code pour comparaison avec dist REF

# 

WWW_TST=/Library/WebServer/Documents/svn

WWW_REF=/Library/WebServer/Documents/work



compare () {

  rm -rf $WWW_TST/CACHE/* $WWW_REF/CACHE/* 2>/dev/null

  echo "Mise a jour SVN $1"

  svn up --revision $1 $WWW_TST > /dev/null

  if [ $? -ne 0 ]; then return; fi

  #  mv $WWW_TST/dist $WWW_TST/dist.tst

  #  cp -r $WWW_REF/dist $WWW_TST/dist

  abv $1

  abp $1

  #  rm -rf $WWW_TST/dist

  #  mv $WWW_TST/dist.tst $WWW_TST/dist

}



# par date     : compare {2006-06-01}

# par revision : compare 6630

compare {2006-04-01}

compare {2006-04-08}

compare {2006-04-15}

compare {2006-04-22}

compare {2006-05-01}

compare {2006-05-08}

compare {2006-05-15}

compare {2006-05-22}

compare {2006-06-01}

compare {2006-06-08}

compare {2006-06-15}

script abv

#!/bin/sh

# Comparaison temps avec ab pour la partie PRIVEE

# On mesure le gain d'une version TST par rapport a une version REF

# au moyen d'une mesure (Nb de requetes par sec.)  sur une page en cache

#

#     Gain = (NbReq_TST - NbReq_REF)/NbReq_TST

#



URL_REF=http://localhost:8888/work

URL_TST=http://localhost:8888/svn

AUTH=diogene:diogene

ID_ARTICLE=1





echantillon () {

  # un appel pour garantir le cache

  ab -n1 -A $AUTH $1 > /dev/null

  # mesure

  ab -n100 -A $AUTH $1 | awk '/Request/ {print $4}'

}



compare_page () {

  printf "$1 (Req/sec) REF - TST : "

  REF=`echantillon $PAGE_REF`

  TST=`echantillon $PAGE_TST`

  printf "$REF - $TST ==> "

  echo "$REF - $TST" | awk '{print " Gain priv. = "100*($3 - $1)/$3" %"}'

}



PAGE_REF=$URL_REF/ecrire/

PAGE_TST=$URL_TST/ecrire/

compare_page "$1 Ecrire  "



PAGE_REF=$URL_REF/ecrire/articles.php3?id_article=$ID_ARTICLE

PAGE_TST=$URL_TST/ecrire/?exec=articles?article=id_article=$ID_ARTICLE

compare_page "$1 Articles"

script abp

#!/bin/sh

# Comparaison temps avec ab pour la partie PUBLIQUE

# On mesure le gain d'une version TST par rapport a une version REF

# au moyen d'une mesure (Nb de requetes par sec.)  sur une page en cache

#

#     Gain = (NbReq_TST - NbReq_REF)/NbReq_TST

#



URL_REF=http://localhost:8888/work

URL_TST=http://localhost:8888/svn

ID_ARTICLE=1





echantillon () {

  # un appel pour garantir le cache

  ab -n1 $1 > /dev/null

  # mesure

  ab -n100 $1 | awk '/Request/ {print $4}'

}



compare_page () {

  printf "$1 (Req/sec) REF - TST : "

  REF=`echantillon $PAGE_REF`

  TST=`echantillon $PAGE_TST`

  printf "$REF - $TST ==> "

  echo "$REF - $TST" | awk '{print " Gain publ. = "100*($3 - $1)/$3" %"}'

}



PAGE_REF=$URL_REF/sommaire.php3

PAGE_TST=$URL_TST/spip.php

compare_page "$1 Accueil "



PAGE_REF=$URL_REF/article.php3?id_article=$ID_ARTICLE

PAGE_TST=$URL_TST/?article=$ID_ARTICLE

compare_page "$1 Article "

[1] En particulier, il y a 3 valeurs anormales sur la page d’accueil 1.9 dans la période 22 Mai/8 Juin.Ces anomalies correspondent très probablement au bug identifié précédemment (introduit en 6402, corrigé en 6580)

[2] sous MacOS on peut installer svn par fink

Répondre à cet article