Big Data en perl
June 29-30, 2012 in Strasbourg

You can also be a beared geek!
Franck presenting StarGit, one of his projects
Access map

Big Data en perl

By David Morel (‎dm‎) from Lyon.pm
Date: Saturday, 30 June 2012 14:00
Duration: 45 minutes
Target audience: Any
Language: Français

Part 1 - Intro Mapreduce / Hadoop

Présentation des concepts de MapReduce, et de l'architecture d'Hadoop, un système permettant, grâce au parallélisme qui est au coeur de sa conception, de traiter aisément des volumes de données dont l'analyse était auparavant impossible. Tour d'horizon de l'écosystème de ce logiciel qui est désormais au coeur de l'activité de tous les plus gros acteurs du web.

Part 2 - Débuter sur Hadoop en 3 lignes de perl (ou presque)

Les mains sous le capot pour d'un job simple en apparence : trouver les combinaisons les plus fréquentes dans le panier d'achat d'un site e-commerce. Simple sur le papier, beaucoup moins en pratique lorsqu'il s'agit de dégager des informations utiles de centaines de millions de transactions. En utilisant Hadoop et l'interface Streaming qu'il propose, c'est l'affaire de quelques minutes et de quelques lignes de code pour un script perl (out tout autre language). L'interface Streaming n'est pas la plus puissante, mais elle permet de réaliser rapidement la puissance infinie de cette architecture distribuée sans changer grand'chose à nos habitudes.

Attended by: Nicolas Georges (‎xlat‎), Fabien Durr (‎fabien‎), Philippe Pittoli, Patrick Mevzek, Léo Unbekandt, Philippe Bruhat (‎BooK‎), Joris De Pooter (‎joris‎), Henri-Damien LAURENT, Emmanuel Di Pretoro (‎saorge‎), Victor Kimmerlin (‎Nacos‎),