Big Data en perl
vendredi 29, samedi 30 juin 2012 à Strasbourg

Toi aussi deviens un(e) geek(e) barbu(e) !
Franck présentant son projet StarGit en 2011.
Plan d'accès

Big Data en perl

Par David Morel (‎dm‎) de Lyon.pm
Date : samedi 30 juin 2012 14h00
Durée : 45 minutes
Cible : tous
Langue : Français

Part 1 - Intro Mapreduce / Hadoop

Présentation des concepts de MapReduce, et de l'architecture d'Hadoop, un système permettant, grâce au parallélisme qui est au coeur de sa conception, de traiter aisément des volumes de données dont l'analyse était auparavant impossible. Tour d'horizon de l'écosystème de ce logiciel qui est désormais au coeur de l'activité de tous les plus gros acteurs du web.

Part 2 - Débuter sur Hadoop en 3 lignes de perl (ou presque)

Les mains sous le capot pour d'un job simple en apparence : trouver les combinaisons les plus fréquentes dans le panier d'achat d'un site e-commerce. Simple sur le papier, beaucoup moins en pratique lorsqu'il s'agit de dégager des informations utiles de centaines de millions de transactions. En utilisant Hadoop et l'interface Streaming qu'il propose, c'est l'affaire de quelques minutes et de quelques lignes de code pour un script perl (out tout autre language). L'interface Streaming n'est pas la plus puissante, mais elle permet de réaliser rapidement la puissance infinie de cette architecture distribuée sans changer grand'chose à nos habitudes.

Présentation suivie par: Nicolas Georges (‎xlat‎), Fabien Durr (‎fabien‎), Philippe Pittoli, Patrick Mevzek, Léo Unbekandt, Philippe Bruhat (‎BooK‎), Joris De Pooter (‎joris‎), Henri-Damien LAURENT, Emmanuel Di Pretoro (‎saorge‎), Victor Kimmerlin (‎Nacos‎),