La parole est aux speakers : Jean Pasdeloup et Romain Cottard

Publié le

Jusqu’au PHP Tour Montpellier 2018, retrouvez nos interviews de speakers pour mieux comprendre leur parcours et le sujet qu’ils aborderont lors de leur conférence !

La conférence

Retour sur 5 ans de CLI PHP pour importer le catalogue chez Deezer

Le catalogue chez Deezer c’est 43 millions de tracks, en augmentation constante et mis à jour régulièrement. Il y a 5 ans, l'import de ce catalogue consistait en quelques scripts PHP perdus dans le gros GIT monolithique de Deezer. Voyons comment cet import a évolué depuis, tout en restant en PHP : évolutions architecturales et focus sur des problématiques techniques. Au programme : de la vraie ligne de commande, des domaines métiers et des applications, un peu de Symfony et beaucoup de framework agnostic, des daemons parallélisés, des events asynchrones... Un talk par Romain & Jean, les 2 Architectes aux "commands" de la team Catalog.

Salle Jarvis
17/05/2018
10:15-10:55

Vous travaillez sur l’importation du catalogue Deezer qui comporte 43 millions de tracks. Quelle est la source d’import de ces tracks ?

Les tracks sont envoyées directement par les “providers”, c’est à dire les maisons de disques, qui possèdent les droits dessus. Les gros utilisent un format standard appelée DDEX, mais il faut également gérer différents petits formats alternatifs.

La grosse difficulté dans ces différents formats, c’est la gestion des droits : le même album peut être livré par différents providers avec des droits différents selon les pays. Ces droits évoluent également dans le temps avec une date de début, et des mises à jour qui peuvent arriver à tout moment pour envoyer une date de fin de droit pour ce provider.

En plus des tracks, on importe également des ressources de partenaires pour ajouter des informations, essentiellement sur les artistes : photos, biographies. Une autre difficulté consiste à faire correspondre correctement ces informations.

Pourriez-vous chacun vous présenter ainsi que votre rôle à Deezer ? Qu’est-ce qu’une journée-type de la « team Catalog » ?

Romain: Pour ma part, je suis lead de l’équipe “Catalog”. Je suis arrivé il y a 5 ans, et où l’import se résumait à quelques scripts écrits en code procédural, et où la cohérence et l’intégrité des données n’étaient pas la priorité.
Mon but a été de faire en sorte qu’en plus d’ingérer toujours plus de nouvelles releases, on les importe le mieux possible, en ajoutant une base de données d’import par exemple, ou en ajoutant des règles d’intégrité.

Actuellement, mon quotidien ressemble à cela :

• Suivi d’équipe, review et rendre notre code le plus robuste, maintenable et scalable possible
• Ajouter des outils pour nos équipes internes afin d’améliorer leur quotidien et la qualité de notre catalogue.
• Participer aux réunions concernant l’amélioration et l’ajout de nouvelles “entités” au catalogue (podcast, radio, musique…), et de remonter au plus tôt les implications et soucis que cela pourra avoir.
• Prioriser et planifier au mieux toutes les demandes entrantes.

Jean: Pour ma part je suis “Senior Software Engineer”, arrivé il y a maintenant 1 an et demi chez Deezer. Avant Deezer, j’ai été pendant 15 ans dans une société de service nommée Sedona où j’ai travaillé essentiellement sur des projets au forfait en tant que développeur, chef de projet et/ou architecte avec des projets comme le site de l’Olympia, le site de Jeff de Bruges, ou une plateforme de streaming en marque blanche pour Universal Music. En arrivant chez Deezer j’ai apporté mon expérience pour aider Romain à aller plus loin dans la refactorisation du code, la première tâche ayant été de sortir le code du repo GIT global Deezer vers un repo dédié Catalogue, mais ça on le racontera dans la conférence 😉

La “team Catalog” c’est 4 ingénieurs actuellement. La journée-type commence comme toujours par un daily meeting où chacun liste ce qu’il a fait la veille et ce qu’il va faire aujourd’hui. On est en scrum avec des sprints de 2 semaines, auquel on rajoute tout de même des quarter plannings pour définir les objectifs prioritaires pour chaque quarter et se synchroniser avec les autres équipes qui pourraient avoir des dépendances.

Chez Deezer on a pas mal de cérémonies tout au long de la semaine : le mardi matin c’est petit-déjeuner offert par la direction avec des présentations sur tout ce qui se passe dans l’entreprise. Et le vendredi, c’est vendredrink avec des bières offertes par le CE 🙂

Deezer accompagne l’AFUP sur ses événements depuis plusieurs années : qu’est ce qui vous encouragé à finalement proposer une conférence cette année ?

Pour proposer une conférence, on voulait avoir un sujet intéressant à raconter, pouvoir apporter quelque chose aux personnes qui viendront nous écouter.

Aujourd’hui chez Catalogue, l’essentiel de notre migration depuis un code Legacy noyé dans un repo GIT global à tout Deezer vers un code moderne dans un GIT dédié a été effectué. Cette évolution s’est faite progressivement par étapes, et nous avons ainsi une histoire, une expérience, à raconter.

Nous avons également réalisé que notre usage du PHP pour faire des jobs en ligne de commande, avec usage de daemons parallélisés était assez peu fréquent et pouvait intéresser la communauté.
En effet 70% de notre code consiste à faire fonctionner des scripts en PHP CLI, et de faire tourner tout cela de manière optimisée et rapide. Nous avons donc nécessairement rencontré des problèmes et y avons apporté des solutions. Partager cela nous semblait donc important.

Une conférence présentée par

Jean PASDELOUP
Jean PASDELOUP
Senior Software Engineer dans l'équipe Catalog chez Deezer.
Romain COTTARD
Romain COTTARD
Développeur PHP autodidacte depuis plus de dix ans.

Autres interviews

En poursuivant votre navigation sur ce site, vous acceptez l’utilisation des cookies pour améliorer votre navigation. plus d'infos

1. Qu’est-ce qu’un cookie?

Un Cookie est un petit fichier texte enregistré sur votre terminal (ordinateur, tablette, smartphone, etc.), à l’occasion de la consultation d’un service en ligne grâce à votre logiciel de navigation. Il permet à son émetteur d’identifier le terminal dans lequel il est enregistré, pendant la durée de validité ou d’enregistrement du Cookie. Lors de la consultation de notre site Internet, des informations relatives à la navigation de votre terminal sont susceptibles d'être enregistrées dans ces fichiers dits "Cookies". Ces derniers sont installés sur votre terminal, sous réserve des choix que vous auriez exprimés concernant les Cookies et que vous pouvez modifier à tout moment.

2. A quoi servent les cookies émis sur notre site ?

Seul l’émetteur d’un cookie est susceptible de lire ou de modifier les informations qui y sont contenues.
Les cookies utilisés sur notre site permettent :

3. Vos choix concernant les cookies

Vous disposez de différents moyens pour gérer les cookies. Tout paramétrage que vous pouvez entreprendre sera susceptible de modifier votre navigation sur notre site et sur Internet en général et vos conditions d'accès à certains services de notre site nécessitant l'utilisation de cookies. Vous pouvez à tout moment exprimer et modifier vos souhaits en matière de cookies, par les moyens décrits ci-dessous. L'accord sur les cookies L'enregistrement d'un cookie dans un terminal est essentiellement subordonné à la volonté de l'utilisateur du terminal, que celui-ci peut exprimer et modifier à tout moment et gratuitement à travers les choix qui lui sont offerts par son logiciel de navigation. Si vous avez accepté dans votre logiciel de navigation l'enregistrement de cookies dans votre terminal, les cookies intégrés dans les pages et contenus que vous avez consultés pourront être stockés temporairement dans un espace dédié de votre terminal. Ils y seront lisibles uniquement par leur émetteur.

Le refus des cookies Si vous refusez l'enregistrement de cookies dans votre terminal, ou si vous supprimez ceux qui y sont enregistrés, vous ne pourrez plus bénéficier d'un certain nombre de fonctionnalités qui sont néanmoins nécessaires pour naviguer dans certains espaces de notre site. Tel serait le cas si vous tentiez d'accéder à votre compte ou à votre abonnement qui nécessite de vous identifier. Tel serait également le cas lorsque nous, ou nos prestataires, ne pourrions pas reconnaître, à des fins de compatibilité technique, le type de navigateur utilisé par votre terminal, ses paramètres de langue et d'affichage ou le pays depuis lequel votre terminal semble connecté à Internet. Le cas échéant, nous déclinons toute responsabilité pour les conséquences liées au fonctionnement dégradé de nos services résultant de l'impossibilité pour nous d'enregistrer ou de consulter les cookies nécessaires à leur fonctionnement et que vous auriez refusés ou supprimés. Les choix offerts par votre logiciel de navigation Vous pouvez configurer votre logiciel de navigation de manière à ce que des cookies soient enregistrés dans votre terminal ou, au contraire, qu'ils soient rejetés, soit systématiquement, soit selon leur émetteur. Vous pouvez également configurer votre logiciel de navigation de manière à ce que l'acceptation ou le refus des cookies vous soient proposés ponctuellement, avant qu'un cookie soit susceptible d'être enregistré dans votre terminal. Pour la gestion des cookies et de vos choix, la configuration de chaque navigateur est différente. Elle est décrite dans le menu d'aide de votre navigateur, qui vous permettra de savoir de quelle manière modifier vos souhaits en matière de cookies. Selon votre navigateur, consultez le lien ci-dessous pour configurer votre navigateur et refuser les cookies :