[:fr]La parole est aux speakers : Jean Pasdeloup et Romain Cottard[:]

Publié le

[:fr]Jusqu’au PHP Tour Montpellier 2018, retrouvez nos interviews de speakers pour mieux comprendre leur parcours et le sujet qu’ils aborderont lors de leur conférence !

La conférence

Retour sur 5 ans de CLI PHP pour importer le catalogue chez Deezer

Le catalogue chez Deezer c’est 43 millions de tracks, en augmentation constante et mis à jour régulièrement. Il y a 5 ans, l'import de ce catalogue consistait en quelques scripts PHP perdus dans le gros GIT monolithique de Deezer. Voyons comment cet import a évolué depuis, tout en restant en PHP : évolutions architecturales et focus sur des problématiques techniques. Au programme : de la vraie ligne de commande, des domaines métiers et des applications, un peu de Symfony et beaucoup de framework agnostic, des daemons parallélisés, des events asynchrones... Un talk par Romain & Jean, les 2 Architectes aux "commands" de la team Catalog.

Salle Jarvis
17/05/2018
10:15-10:55

Vous travaillez sur l’importation du catalogue Deezer qui comporte 43 millions de tracks. Quelle est la source d’import de ces tracks ?

Les tracks sont envoyées directement par les “providers”, c’est à dire les maisons de disques, qui possèdent les droits dessus. Les gros utilisent un format standard appelée DDEX, mais il faut également gérer différents petits formats alternatifs.

La grosse difficulté dans ces différents formats, c’est la gestion des droits : le même album peut être livré par différents providers avec des droits différents selon les pays. Ces droits évoluent également dans le temps avec une date de début, et des mises à jour qui peuvent arriver à tout moment pour envoyer une date de fin de droit pour ce provider.

En plus des tracks, on importe également des ressources de partenaires pour ajouter des informations, essentiellement sur les artistes : photos, biographies. Une autre difficulté consiste à faire correspondre correctement ces informations.

Pourriez-vous chacun vous présenter ainsi que votre rôle à Deezer ? Qu’est-ce qu’une journée-type de la « team Catalog » ?

Romain: Pour ma part, je suis lead de l’équipe “Catalog”. Je suis arrivé il y a 5 ans, et où l’import se résumait à quelques scripts écrits en code procédural, et où la cohérence et l’intégrité des données n’étaient pas la priorité.
Mon but a été de faire en sorte qu’en plus d’ingérer toujours plus de nouvelles releases, on les importe le mieux possible, en ajoutant une base de données d’import par exemple, ou en ajoutant des règles d’intégrité.

Actuellement, mon quotidien ressemble à cela :

• Suivi d’équipe, review et rendre notre code le plus robuste, maintenable et scalable possible
• Ajouter des outils pour nos équipes internes afin d’améliorer leur quotidien et la qualité de notre catalogue.
• Participer aux réunions concernant l’amélioration et l’ajout de nouvelles “entités” au catalogue (podcast, radio, musique…), et de remonter au plus tôt les implications et soucis que cela pourra avoir.
• Prioriser et planifier au mieux toutes les demandes entrantes.

Jean: Pour ma part je suis “Senior Software Engineer”, arrivé il y a maintenant 1 an et demi chez Deezer. Avant Deezer, j’ai été pendant 15 ans dans une société de service nommée Sedona où j’ai travaillé essentiellement sur des projets au forfait en tant que développeur, chef de projet et/ou architecte avec des projets comme le site de l’Olympia, le site de Jeff de Bruges, ou une plateforme de streaming en marque blanche pour Universal Music. En arrivant chez Deezer j’ai apporté mon expérience pour aider Romain à aller plus loin dans la refactorisation du code, la première tâche ayant été de sortir le code du repo GIT global Deezer vers un repo dédié Catalogue, mais ça on le racontera dans la conférence 😉

La “team Catalog” c’est 4 ingénieurs actuellement. La journée-type commence comme toujours par un daily meeting où chacun liste ce qu’il a fait la veille et ce qu’il va faire aujourd’hui. On est en scrum avec des sprints de 2 semaines, auquel on rajoute tout de même des quarter plannings pour définir les objectifs prioritaires pour chaque quarter et se synchroniser avec les autres équipes qui pourraient avoir des dépendances.

Chez Deezer on a pas mal de cérémonies tout au long de la semaine : le mardi matin c’est petit-déjeuner offert par la direction avec des présentations sur tout ce qui se passe dans l’entreprise. Et le vendredi, c’est vendredrink avec des bières offertes par le CE 🙂

Deezer accompagne l’AFUP sur ses événements depuis plusieurs années : qu’est ce qui vous encouragé à finalement proposer une conférence cette année ?

Pour proposer une conférence, on voulait avoir un sujet intéressant à raconter, pouvoir apporter quelque chose aux personnes qui viendront nous écouter.

Aujourd’hui chez Catalogue, l’essentiel de notre migration depuis un code Legacy noyé dans un repo GIT global à tout Deezer vers un code moderne dans un GIT dédié a été effectué. Cette évolution s’est faite progressivement par étapes, et nous avons ainsi une histoire, une expérience, à raconter.

Nous avons également réalisé que notre usage du PHP pour faire des jobs en ligne de commande, avec usage de daemons parallélisés était assez peu fréquent et pouvait intéresser la communauté.
En effet 70% de notre code consiste à faire fonctionner des scripts en PHP CLI, et de faire tourner tout cela de manière optimisée et rapide. Nous avons donc nécessairement rencontré des problèmes et y avons apporté des solutions. Partager cela nous semblait donc important.

Une conférence présentée par

Jean PASDELOUP
Jean PASDELOUP
Senior Software Engineer dans l'équipe Catalog chez Deezer.
Romain COTTARD
Romain COTTARD
Développeur PHP autodidacte depuis plus de dix ans.

Autres interviews

[:]