Ontwikkelaars geven te veel uit aan testen
Cloud computing verlaagt de drempel voor het testen van webapplicaties. Wall Street IT-managers op het FutureTest-congres in New York houden hun twijfels.
Veel web 2.0 startups blijven permanent in beta. “Het zou me niet verbazen als meer dan de helft helemaal niks test”, zegt Patrick Lightbody van BrowserMob. “Een bug hier en daar kun je nog overheen kijken, maar het is moeilijker goed te praten als je site helemaal plat gaat.”
Software- en webtesters kwamen bij elkaar op het FutureTest-congres in New York. Inzet van de schaalbare, virtuele computernetwerken van leveranciers als Amazon en Google is een van de nieuwste trends in het testen van webapplicaties. Bijna een half miljoen techneuten gebruiken Amazons systemen.
Lightbody lanceerde afgelopen december BrowserMob op Amazons Elastic Compute Cloud (Amazon EC2). Hij was eerder een van de ontwikkelaars achter open source test-softwarepakket Selenium, waar BrowserMob ook op voortbouwt.
Het systeem laat ontwikkelaars de techische belasting van servers testen met duizenden echte browsers. Áchter het systeem zitten echter geen klikkende consumenten, maar goed geïnstrueerde en onvermoeibare computers. Deze vorm van automatisering moet de complexiteit van traditionele test-middelen verminderen en dichter bij de werkelijkheid brengen.
Volgens Lightbody heeft BrowserMob al projecten voor een dozijn klanten gedaan, waaronder videostartup 1Cast en een reclamebureau met een spot in de Super Bowl, het grootste Amerikaanse tv-evenement.
Een andere marktpartij, dienstverlener Soasta, testte afgelopen najaar de schaalbaarheid van muziekstartup Qtrax met Amazon EC2. In een eerste test bleek 500 gelijktijdige bezoekers de site plat te leggen. Het knelpunt was de database. Na herhaalde tests wists Qtrax het getal op te krikken tot 170 duizend.
Soasta introduceerde vorige week zijn eigen CloudTest Global Platform dat naast Amazon EC2 ook de platformen van Rackspace, 3Tera AppLogic en Enomaly gebruikt.
Een IT’er bij een verzekeraar in het publiek vindt het “allemaal leuk en aardig”, maar regels bij financiële instellingen verbieden het data buiten de firewall. Amazons technologie-evangelist Jinesh Varia antwoordt dat Amazon de bezwaren in kaart brengt en aan strikte beveiligingsgaranties werkt.
Lightbody weet dat financiële instellingen gewend zijn alleen op eigen computers en datacentra te testen. “Ik stel me toch voor dat men op den duur meer zal openstaan voor cloud-infrastructuren, net zoals veel bedrijven nu ook Salesforce.com gebruiken.”
Tijdens de lunch blijven veel congresgangers sceptisch. Financiële instellingen zouden vaak met live klantendata testen. Dat is illegaal, maar de data zouden moeilijk zijn te imiteren voor testdoeleinden.
Foto: Peter Verkooijen
Deel dit bericht
Plaats een reactie
Uw e-mailadres wordt niet op de site getoond
3 Reacties
Anko Tijman
De (on-)beschikbaarheid van testdata is een steeds groter wordend probleem. Enerzijds door de steeds nadrukkelijker wens om beter te testen (waardoor je meer en vollediger data nodig hebt) en anderzijds door de steeds striktere naleving van privacy regels (waardoor er meer obstakels zijn om veel data te gebruiken).Out of the box zijn er nog geen oplossingen; wel zijn er inmiddels specifieke testdata tools op de markt.
Bas Groot
Uit eigen ervaring kan ik vertellen: da's een leuk idee maar slechts 10% van het probleem. Deze best mooie oplossing is voor performance testing en da's zeker nuttig en nodig, want menig site gaat genadeloos door de knietjes bij een succesprobleem. Niet voor niks is op socials en fora de doorlooptijd per pageview irritant lang, ondanks de vele servers die men er tegenaan smijt. De tool is leuk, maar het echte werk is -zinnige- tests opzetten; zinnige aanmeldingen en transacties, zinnige surfsessies, zinnige gebruikersfouten, zoveel mogelijk op de echte wereld gelijkend. En dan zie je, dat gebruikers in de echte wereld niet te simuleren zijn. Ze verzinnen en doen dingen waar je nooit aan zou denken, ze interpreteren dingen heel anders dan je verwacht. Ze doen onverwachte dingen als ze ongeduldig worden, zoals reload-toets ingedrukt houden of meerdere vensters naar dezelfde login openen. Dus: als we te veel geld uitgeven aan testen? Er zijn een hoop goedkope en best goeie testtooltjes in de handel, dus maak maar een goedkope SaaS dienst waar je voor weinig je site omver kunt laten beuken. Oh ja, en je hosting provider moet 't ook nog leuk vinden als je dat doet… dus wel ff afspreken!
sean
Klopt! Men staart hier blind op Tmap, maar dat kan anders!