ADMINISTRACIN Y EVALUACIN DE SISTEMAS INFORMTICOS

L 2 A N L I S I S C O M PA R AT I V O D E S I S T E M A S . BENCHMARKING

GII GIIS

Curso 2013-2014

PRESENTACIN DE LA PRCTICA

Comparacindesistemas. Anlisiscomparativodel rendimiento.

Ejecucindeunconjuntodeprogramasdepruebaoevaluacin. Evaluacinycomparacinde3mquinas. Elaborarunndicedecomparacinderendimientos IpAesi similaral utilizadoporSPECparalosbenchmarks delaserieSPECCPUxxxx. UtilizacindePhoronix testsuite.

Objetivos
Familiarizarseconlosaspectosbsicosdelosprocesosde benchmarking. Familiarizarseconlautilizacindebenchmarks enlamediciny comparacindesistemasinformticos. Elaboracindeinformesdelanlisiscomparativodesistemas.

AESI - Lab2 - 2013-2014

PRESENTACIN DE LA PRCTICA (II)

Sistemaenestudio:
MquinabaseparalaelaboracindelndicedeprestacionesIpAESI Mquinasrealesovirtuales(preferiblementereales)delasquedisponganlos alumnosodelasdisponiblesenloslaboratoriosdelcentroobjetodelanlisis comparativo. Almenos3diferentes.

Herramientas
Gestin,configuracinyejecucindelosbenchmarks
Phoronix TestSuite

Anlisis deresultados
Hojadeclculo,Statgraphics,R,etc.

Tareas
AESI - Lab2 - 2013-2014

InstalacindePhoronix TestSuite Ejecutarelconjuntodetestseleccionadosparaestecurso ElaboracindelndicedeprestacionesIpAesi Elaborarelestudiocomparativo. Elaboracindelinformedelaprcticasiguiendoelestndarestablecidopara lasprcticasdelaasignatura.

CLCULO DEL NDICE DE PRESTACIONES IPAESI.

ndicedeprestacionesaelaborar:IpAesi Mtododeclculo
SimilaralutilizadoporlacorporacinSPECparaSPECCPU2006

Benchmark test
ColeccinpreseleccionadadelasuitePhoronix.

Sistemadereferencia
Lascaractersticasdelamquinaylosresultadosdelaejecucindelos testseleccionadosseproporcionanenlastransparencias#6y#7.
AESI - Lab2 - 2013-2014

Sistemasenestudio
Mquinasdelaboratorio(laboratoriogeneral,laboratorio105ymquina virtual) Mquinaspersonales

BENCHMARKING.

InstalacindelaplataformadepruebasPhoronix TestSuiteencada mquinasometidaaprueba.

Seguirlasdirectriceseinstruccionesproporcionadasporelmanualde usuariodePhoronix. Laversinainstalarparaestecursoesla4.8.6 EnlasmquinasdeloslaboratoriosgeneralyL105yaestinstalado.

Configuracinyejecucindelosprogramasdepruebaqueseindican enlatransparencia#7encadamquina.
Considerarlasopcionesdeconfiguracindemquinayprogramasde prueba. Lasconfiguracionesestablecidashandedocumentarseenelinformefinal.
AESI - Lab2 - 2013-2014

RecogidadedatosyelaboracindelndicederendimientoIpAesi paracadamquina.
Losdatosderendimientodelamquinadereferenciaseproporcionanenla transparencia#7

MQUINA DE REFERENCIA

Hardware: Processor: Intel Pentium 4 @ 2.40GHz (1 Core), Motherboard: Intel D845EBG2, Chipset: Intel 82845 845 + ICH4/ICH4-L, Memory: 1536MB, Disk: 80GB Seagate ST380011A + 40GB Seagate ST340016A, Graphics: AMD Radeon 9000 128MB, Audio: Intel 82801DB/DBL/DBM, Monitor: HP w2207 Network: Intel 82801DB PRO/100 Software: OS: Ubuntu 13.10, Kernel: 3.11.0-15-generic (i686). Desktop: Xfce 4.10. Display Server: X Server 1.14.5. Display Driver: radeon 7.2.0, OpenGL: 1.3 Mesa 9.2.1. Compiler: GCC 4.8. File-System: ext4. Screen Resolution: 1680x1050

AESI - Lab2 - 2013-2014

SUBCONJUNTO DE TEST DE PHORONIX A UTILIZAR Test pts/mrbayes1.2.0 pts/bork1.0.0 pts/buildimagemagick1.6.0 pts/compresspbzip21.4.0 pts/bullet1.2.0 pts/bullet1.2.0 pts/bullet1.2.0 pts/bullet1.2.0 pts/bullet1.2.0 pts/bullet1.2.0 pts/bullet1.2.0 pts/gnupg1.3.1 pts/mencoder1.4.1 pts/minion1.4.0 pts/minion1.4.0 pts/minion1.4.0 pts/nqueens1.1.0 pts/sampleprogram1.1.0 pts/sudokut1.0.0
7

Descripcin TimedMrBayes Analysis PrimatePhylogenyAnalysis BorkFileEncrypter FileEncryptionTime TimedImageMagick Compilation TimeToCompile ParallelBZIP2Compression 256MBFileCompression BulletPhysicsEngine Test:Raytests BulletPhysicsEngine Test:3000Fall BulletPhysicsEngine Test:1000Stack BulletPhysicsEngine Test:1000Convex BulletPhysicsEngine Test:136Ragdolls BulletPhysicsEngine Test:PrimTrimesh BulletPhysicsEngine Test:ConvexTrimesh GnuPG 1GBFileEncryption Mencoder AVIToLAVC Minion Benchmark:Graceful Minion Benchmark:Solitaire Minion Benchmark:Quasigroup NQueens ElapsedTime SamplePiProgram PhoronixTestSuitev4.8.6 Sudokut TotalTime

Tiempo (segundos) 196.10 167.31 1107.78 226.71 23.29 50.04 55.21 39.55 28.97 8.80 10.78 23.60 102.25 301.00 589.05 698.49 554.91 27.94 103.93

ESTUDIO COMPARATIVO DEL RENDIMIENTO

Seelaborarunestudiocomparativodelossistemasenbasea lostiemposdeejecucindelosbenchmarks encadaunadelas mquinas. Esteestudioincluircomomnimo:

UnacomparativaenbasealndicedeprestacionesIpAesi. Unacomparativaenbasealanlisisdelosdatosdelostiemposde ejecucin. Paralasdosmquinas,excluyendolamquinadereferencia,que muestrenlosresultadosmsparecidosserealizarunanlisisde rendimientossignificativamentediferentes.
AESI - Lab2 - 2013-2014

Puntuacinextra.
Propuestayelaboracindeunndicedeprestacionesaniveldesistema. Consultarconelprofesorelalcanceyobjetivosdeltrabajoextra.

INFORME DE LA PRCTICA

Formato
Elestndarestablecidoparalaasignatura

Objetivo:
Proporcionarunexposicinformal,ordenadayestructuradadeltrabajo realizadoydelosresultadosobtenidos. Quhahechoelgrupoycmolohahecho.

Memoria:Incluir,almenos,lossiguientescontenidos:
Introduccindescriptivadelaprcticarealizada, Descripcindelosexperimentosrealizadosydelosresultadosobtenidos.
Descripcindelasmquinasasercomparadas,descripcindelosbenchmarks utilizados.

AESI - Lab2 - 2013-2014

Anlisiscomparativo Discusindelosresultadosobtenidos. Conclusiones.

Anexos.
Informesdeejecucin,instantneasdelosprocesosdeejecucinymedida realizados.

REFERENCIAS

C.Schroder,BenchmarkingLinux Datamation,Datamation[Online]. Disponibleen: http://www.datamation.com/osrc/article.php/3743221/Benchmarking Linux.htm.[Accedido:28ene2014] OpenBenchmarking.org AnOpen,CollaborativeTestingPlatformFor Benchmarking&PerformanceAnalysis.[Online].Disponibleen: http://openbenchmarking.org/.[Accedido:28ene2014] PhoronixTestSuite LinuxTesting&BenchmarkingPlatform,Automated TestingFramework,OpenSourceBenchmarking.[Online].Disponibleen: http://www.phoronixtestsuite.com/[Accedido:02oct2012] [Phoronix]LinuxHardwareReviews&Articles.[Online].Disponibleen: http://www.phoronix.com/scan.php?page=phoronix_articles.[Accedido: 28ene2014]
AESI - Lab2 - 2013-2014

M.Larabel,[Phoronix]Ubuntuvs.OpenSolarisvs.FreeBSDBenchmarks. [Online].Disponibleen: http://www.phoronix.com/scan.php?page=article&item=os_threeway_200 8&num=1.[Accedido:28ene2014]

10

ADMINISTRACIN Y EVALUACIN DE SISTEMAS INFORMTICOS

PHORONIX

GII GIIS

Curso 2013-2014

PHORONIX TEST SUITE (PTS) - PRESENTACIN

Plataforma
Acceso,instalacinyejecucindebenchmarks aniveldecomponentey sistema. PensadaparaentornosLinux(sepuedeejecutartambinenentornos Windows)

Benchmarking
Testindividuales Suites
Agrupacindetestdefinidosporelusuarioopreconfiguradas Ej:Chess TestSuite(preconfigurada) mideelrendimientodelaCPU mediantediferentesalgoritmosparalosjuegosdeajedrez

Openbenchmarking (http://openbenchmarking.org)
AESI - Lab2 - 2013-2014

Informacinsobrelostest Repositorioderesultadosdebenchmarks Informacionescomplementariassobretestysuites

12

PTS - INSTALACIN

ParalasmquinasDebian/Ubuntuexisteunpaqueteespecfico
Sepuedeinstalardesdelosrepositorios.Nosiempreestlaltimaversin Elrepositoriodelasuitesepuedeencontraren: http://www.phoronixtestsuite.com/

Sinosequiereinstalar,sepuedeejecutardesdeeldirectoriodondese descargaydescomprimeelpaquete. Requisitosdeinstalacin

Esnecesariotenerinstaladophp cli52osuperior. Paquetesrecomendados:php5gd;php5gd;php5curlyphpfpdf.

Enunainstalacinnormal,Phoronix sepuedeencontrarenlosdirectorios:
/usr/bin/phoronix-test-suite || /usr/share/phoronix-testsuite || /usr/share/doc/phoronix-test-suite
AESI - Lab2 - 2013-2014

Paracadausuariosecreaunaestructuradedirectorioslocalenlaquese almacenanlosficherosdetest,resultados,etc decadausuarioparticular

/home/nombreusuario/.phoronix-test-suite

13

PTS - FUNCIONAMIENTO

Invocacin:$ phoronix-test-suite Cadatesthadeserinstaladoyejecutado

$ phoronix-test-suite $ phoronix-test-suite $ phoronix-test-suite $ phoronix-test-suite lasdependencias install instalaeltest run ejecutaeltest benchmark instalayejecutaeltest install-dependencies instala

Ejecucin
Nombreconelqueseguardarnlosresultados:Serelnombredel directorio Nombretestrun/configuracin:IDnicoquepermiteidentificaresa pruebaenconcreto. Descripcin.Untextodescriptivodelaprueba:Sinoseproporciona ninguno,seincluyeunopordefectoyquegeneraPhoronix.

14

AESI - Lab2 - 2013-2014

PTS FUNCIONAMIENTO (II) - RESULTADOS

Losresultadosdelaejecucindeuntestosuite
Seguardanen:~/test-results/ ensubdirectoriosconnombre igualaldadoenelpaso1anterior. Paracadaresultadoelsubdirectorio~/system-logs contiene informacindetalladadelaprueba. Sisequieresaberlostestguardadoselsiguientecomandoproporciona unlistado:
$ phoronix-test-suite list-results

Visualizacin
sepuedenvisualizarenelnavegador opcinpordefecto Sepuedenexportaratexto,csv opdf
AESI - Lab2 - 2013-2014

$ phoronix-test-suite result-file-to-csv [-txt | pdf]

Sepuedeobtenerinformacincomparativadetodaslasejecucionesde untest
$ phoronix-test-suite analyze-all-runs nombrePrueba

15

PTS FUNCIONAMIENTO (III)

Criteriodeparada
CoV pordefectoestestablecidoen3,5%
Configurableen:~/.phoronix-test-suite/user-config.xml

Existensalvaguardasparaquenoseejecutedemasiadasveces
Directivas:DynamicRunCount; StandardDeviationThreshold;
LimitDynamicToTestLength en user-config.xml

Monitorizacin
$ MONITOR=all phoronix-test-suite benchmark el test

16

AESI - Lab2 - 2013-2014

PTS PRUEBA DE FUNCIONAMIENTO

$ phoronix-test-suite #comprobamos que el entorno est activo $ phoronix-test-suite list-available-tests
$ pts/byte - BYTE Unix Benchmark Processor

$ phoronix-test-suite install-dependencies byte

17

AESI - Lab2 - 2013-2014

PTS PRUEBA DE FUNCIONAMIENTO

Nombredeldirectorioenelqueseguardarnlosresultados Identificadorqueidentificaestaprueba(configuracindelaprueba)enconcreto(enestecaso solamenteejecutaremosDhrystone) yladescripcindeltest(silodejamosenblancopts poneunapordefecto)

18

AESI - Lab2 - 2013-2014

20 AESI - Lab2 - 2013-2014

19

AESI - Lab2 - 2013-2014

PTS PRUEBA DE FUNCIONAMIENTO

Listadodelostestguardados

21

AESI - Lab2 - 2013-2014

ADMINISTRACIN Y EVALUACIN DE SISTEMAS INFORMTICOS

L 2 A N L I S I S C O M PA R AT I V O D E S I S T E M A S . BENCHMARKING

GII GIIS

Curso 2013-2014