Spotify是全球最大的正版流媒體音樂(lè)服務(wù)平臺(tái)，2008年10月在瑞典首都斯德哥爾摩正式上線。Spotify提供的服務(wù)分為免費(fèi)和付費(fèi)兩種，免費(fèi)用戶在使用Spotify的服務(wù)時(shí)將被插播一定的廣告。而付費(fèi)用戶則沒(méi)有廣告，且可以擁有更好的音質(zhì)，在移動(dòng)設(shè)備上使用時(shí)也可以擁有所有的功能。截止到2015年6月，Spotify已經(jīng)擁有超過(guò)7500萬(wàn)的用戶，其中1500萬(wàn)為付費(fèi)用戶。

每個(gè)周一，7500萬(wàn)Spotify用戶都會(huì)收到了一卷新的混音帶，這是由Spotify的Discover Weekly通過(guò)算法每周向用戶專門(mén)推薦的播放列表，里面包含了30首歌曲，它帶來(lái)了非常好的用戶體驗(yàn)，感覺(jué)像是一個(gè)愛(ài)好音樂(lè)的朋友專門(mén)送給用戶的禮物。

自動(dòng)音樂(lè)推薦已經(jīng)不是什么新鮮事，但Spotify似乎可以讓用戶對(duì)個(gè)性化推薦的播放列表同時(shí)感到新鮮和熟悉。一些潛在的競(jìng)爭(zhēng)對(duì)手，如Pandora、Google和Apple，很大程度上都可以為用戶提供深不見(jiàn)底的音樂(lè)目錄，但是Spotify通過(guò)采用不同的方法可以為每個(gè)用戶挑選出用戶喜歡的音樂(lè)。

Spotify的這項(xiàng)服務(wù)得到了用戶廣泛歡迎。根據(jù)Spotify的消息，自從6月份Discover Weekly悄然推出之后，播放列表中的歌曲被播放過(guò)17億次。如果由于什么原因，推薦的歌曲列表推遲發(fā)布了，往往會(huì)讓很多用戶感到非常低落，感覺(jué)到生活中缺少一種大的樂(lè)趣。

“相比過(guò)去，我們現(xiàn)在有更多的技術(shù)保證，即使你是世界上最小眾、最奇怪的音樂(lè)家，做著世界上只有20個(gè)人懂得欣賞的音樂(lè)，我們也能找到那20個(gè)人，并在你們之間建立聯(lián)系”，在Spotify 負(fù)責(zé)監(jiān)視這項(xiàng)服務(wù)的工程師Matthew Ogle表示，“Discovery Weekly正用一個(gè)非常引人注目的新方式來(lái)做到這一點(diǎn)，而在以前從來(lái)沒(méi)有人做到過(guò)”。

如果你是一個(gè)Spotify用戶，在你登陸之后，將可以看到Spotify這周為你挑選的歌曲（如果你不是Spotify用戶，或者沒(méi)有登錄，你會(huì)看到自己最近的播放列表）。

下面將對(duì)這個(gè)過(guò)程進(jìn)行簡(jiǎn)單的介紹。

收集所有用戶的播放列表

Discover Weekly的主要組成部分來(lái)自于所有用戶。 Spotify首先查看用戶創(chuàng)建的20億個(gè)播放列表，每一個(gè)列表都反映了用戶的偏好。這些用戶對(duì)于歌曲的選擇和分組形成了Discover Weekly推薦的核心。

發(fā)現(xiàn)用戶自己的收聽(tīng)口味

但Discover Weekly為用戶推薦的播放列表要更為復(fù)雜。 Spotify針對(duì)每個(gè)用戶的音樂(lè)品味，為每個(gè)用戶創(chuàng)建了一個(gè)profile，按照藝術(shù)家和音樂(lè)流派的不同進(jìn)行分類，不僅僅是劃分為常見(jiàn)的“搖滾”和“說(shuō)唱”，而是更細(xì)粒度的，如“合成器流行樂(lè)”和“南方靈魂樂(lè)”等等，這些可以通過(guò)Echo Nest的技術(shù)進(jìn)行分析，Echo Nest是Spotify在2014年收購(gòu)的一家音樂(lè)分析公司，它通過(guò)機(jī)器讀取音樂(lè)網(wǎng)站從而了解到新的專輯，并對(duì)音樂(lè)進(jìn)行進(jìn)一步分析。

用戶可能不知道什么是“流行pop”或者其他類型的流派，但Spotify根據(jù)用戶自己的Spotify收聽(tīng)數(shù)據(jù)，會(huì)告訴用戶你原來(lái)是一個(gè)流行pop音樂(lè)的粉絲。

通過(guò)算法進(jìn)行集成

通過(guò)Spotify 的算法可以建立20億個(gè)播放列表的數(shù)據(jù)與用戶個(gè)人口味之間的聯(lián)系。

Spotify的工程師在今年早些時(shí)候的一個(gè)報(bào)告中分享了許多的技術(shù)細(xì)節(jié)。他們的方法包括：協(xié)同過(guò)濾，例如在亞馬遜中經(jīng)常見(jiàn)到的功能“客戶誰(shuí)買(mǎi)了這個(gè)item也會(huì)買(mǎi)......”，以及自然語(yǔ)言處理，Echo Nest是如何理解音樂(lè)博客和播放列表的標(biāo)題的。公司采用開(kāi)源軟件Kafka來(lái)對(duì)數(shù)據(jù)實(shí)施實(shí)時(shí)管理。

相關(guān)廠商內(nèi)容

提高工程效率的各種最佳實(shí)踐和典型思路

知道創(chuàng)宇技術(shù)副總裁余弦將擔(dān)任QCon北京2016出品人

QCon北京2016大會(huì)，4月21-23日，與您相約北京國(guó)際會(huì)議中心，現(xiàn)在報(bào)名享8折優(yōu)惠！

相關(guān)贊助商

QCon北京2016大會(huì)，4月21-23日，北京·國(guó)際會(huì)議中心，精彩內(nèi)容邀您參與！

尋找適合用戶的音樂(lè)

Spotify采用了深度學(xué)習(xí)技術(shù)，深度學(xué)習(xí)是可用于海量數(shù)據(jù)分析的機(jī)器學(xué)習(xí)技術(shù)，能夠大大提高Discover Weekly的推薦水平。這項(xiàng)工作由Sander Dieleman構(gòu)建，Dieleman曾是Spotify的實(shí)習(xí)生，現(xiàn)在是谷歌的AI子公司DeepMind的研究科學(xué)家。

Discover Weekly的首席工程師Edward Newett表示，“我們已經(jīng)用深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)試驗(yàn)了不同的方法，并且這是Discover Weekly中最重要的功能之一”。

用深度學(xué)習(xí)預(yù)測(cè)用戶收聽(tīng)興趣

關(guān)于Spotify采用深度學(xué)習(xí)進(jìn)行音樂(lè)推薦的方法，Dieleman和他的同事A?ron van den Oord一起在NIPS2013上發(fā)表了一篇關(guān)于這個(gè)推薦系統(tǒng)的文章，題為“Deep content-based music recommendation”。他們?cè)噲D使用音頻信號(hào)，通過(guò)訓(xùn)練一個(gè)回歸模型來(lái)預(yù)測(cè)歌曲的隱特征表示，從而解決用戶收聽(tīng)偏好預(yù)測(cè)問(wèn)題。通過(guò)這種方式，即使沒(méi)有用戶行為數(shù)據(jù)可用，也可以在一個(gè)協(xié)同過(guò)濾空間中預(yù)測(cè)一首歌曲的特征表示。（正如你可能從本文的標(biāo)題推斷的，解決這個(gè)問(wèn)題的回歸模型是一個(gè)深度神經(jīng)網(wǎng)絡(luò)）

這種方法的基本想法是，通過(guò)協(xié)同過(guò)濾模型將用戶和歌曲投影到一個(gè)共享的低維隱空間中。一首歌曲在空間中的位置編碼了所有反映用戶偏好的信息。如果兩首歌曲在空間中非?？拷?，它們可能非常相似。如果一首歌曲與另一個(gè)用戶非常接近，它對(duì)于用戶來(lái)說(shuō)可能是個(gè)好的推薦（只要他們以前沒(méi)有聽(tīng)過(guò)）。通過(guò)分析音頻預(yù)測(cè)一首歌曲在空間中的位置，就能夠選擇合適的歌曲推薦給一個(gè)正確的聽(tīng)眾，而不依賴于用戶的歷史行為數(shù)據(jù)。

通過(guò)使用t-SNE算法可以將模型的預(yù)測(cè)結(jié)果投影到一個(gè)低至二維的隱空間中，這個(gè)過(guò)程的形式化如下圖。正如圖中看到的結(jié)果，相似的歌曲會(huì)聚類在一起。Rap音樂(lè)主要集中在左上角，然而電子樂(lè)歌手主要聚集在底部。

(點(diǎn)擊放大圖像)

Dieleman表示選擇處理這個(gè)問(wèn)題的主要原因是因?yàn)樗嘈乓魳?lè)音頻信號(hào)的推薦一個(gè)極其復(fù)雜的問(wèn)題，需要很多層次的抽象才有可能實(shí)現(xiàn)。他希望網(wǎng)絡(luò)的連續(xù)層次能夠逐漸學(xué)習(xí)到更復(fù)雜和不變的特征，以便更好地用于圖像分類任務(wù)。

Spotify在它們的推薦流水線中已經(jīng)使用了一堆不同的信息源和算法，Dieleman表示，他的工作的最直接的應(yīng)用是將它作為一種額外的信息。然而，它也可以被其他算法用來(lái)過(guò)濾掉推薦中的離群值。例如，協(xié)同過(guò)濾算法的推薦結(jié)果中往往會(huì)包括開(kāi)場(chǎng)曲目，尾奏曲目，翻唱歌曲和混音作品。這些都可以通過(guò)使用基于音頻的方法被有效過(guò)濾掉。

如果你對(duì)深度學(xué)習(xí)、特征學(xué)習(xí)以及它們?cè)谝魳?lè)推薦中的應(yīng)用感興趣，可以查看得Dieleman的research page，上面有Dieleman在這個(gè)領(lǐng)域中所做的一些主要工作。如果你還對(duì)Spotify的音樂(lè)推薦方法有興趣，還可以查閱Erik Bernhardsson博客。

有點(diǎn)神奇的個(gè)性化

Adam Pasick說(shuō)到，正如許多Spotify Discover用戶所表示的，推薦的結(jié)果經(jīng)常讓人感覺(jué)很神奇，Spotify是如何將上世紀(jì)90年代的搖滾樂(lè)隊(duì)Dinosaur Jr. landed 的歌曲加入到播放列表中的？

“我最喜歡的事情之一就是Discover Weekly的怪異” ，Ogle表示。 “我們可以建立這樣龐大的系統(tǒng)，它提取了數(shù)以百萬(wàn)計(jì)的用戶喜好，自動(dòng)為用戶進(jìn)行音樂(lè)推薦，不需要專門(mén)通過(guò)人力來(lái)解決”。

每周的用戶播放列表都不相同，大概反映了用戶變化的移動(dòng)音樂(lè)喜好。在一個(gè)典型的有30首歌曲的Discover Weekly播放列表中，用戶會(huì)找到大約15首歌是很喜歡的，10首歌覺(jué)得很普通，4首歌是完全不會(huì)聽(tīng)，1首是非常癡迷的。

Pasick說(shuō)到，最近有一天，他到了他最喜歡的一間咖啡館，音響中傳來(lái)了非常熟悉的聲音。錄音帶上的許多曲目都是Spotify通過(guò)算法為Pasick推薦的，但咖啡館的音樂(lè)都來(lái)自于一名樂(lè)隊(duì)樂(lè)手Homero的Discover Weekly播放列表，但Homero不在自己的樂(lè)隊(duì)中的時(shí)候，會(huì)兼職作為一名咖啡師。

Pasick很好奇，Homero和他是怎么得到同樣的歌曲列表的？是從20億個(gè)播放列表中，是通過(guò)復(fù)雜的算法為他倆過(guò)濾出相同的結(jié)果的嗎？Spotify的人工編輯會(huì)干預(yù)這個(gè)過(guò)程嗎？

有人會(huì)說(shuō)，“哦，我們?nèi)齻€(gè)人從Discover Weekly得到了相同的推薦列表，這個(gè)列表是有人把它放那的嗎？”。 Ogle表示，“答案是肯定的，當(dāng)其他的Spotify用戶在建立自己的播放列表，意味著全世界有很多人由于跟他有相同的音樂(lè)文化，就會(huì)有相同的播放列表”。

他說(shuō)，盡管藝術(shù)家和他們的唱片公司一再要求，Spotify還是沒(méi)有使用特定歌曲去刻意建立一個(gè)個(gè)的播放列表。

深入別人腦海的旅行

Pasick說(shuō)到，當(dāng)你在聽(tīng)其他人的Discover Weekly播放列表的時(shí)候會(huì)感覺(jué)有些神奇，就像他那天在咖啡館遇到的情況一樣，這種感覺(jué)就好像在哄騙其他的Spotify用戶與人分享他們的播放列表。這有點(diǎn)像進(jìn)行了一個(gè)短暫的旅行，既像地理上的，又像是在別人腦海中的。

“當(dāng)我年輕的時(shí)候，經(jīng)常會(huì)有這樣的事情，回家后打開(kāi)CD機(jī)，通過(guò)所聽(tīng)音樂(lè)，發(fā)現(xiàn)自己真實(shí)的存在” ，工程師Newett說(shuō)到，“但現(xiàn)在，你可能會(huì)意識(shí)到，你曾經(jīng)以為你是獨(dú)自一個(gè)人在世界上，但現(xiàn)在會(huì)感覺(jué)不一樣，你會(huì)發(fā)現(xiàn)世界上存在那么一些，至少在音樂(lè)愛(ài)好上跟你一樣”。

使用Discover Weekly 的專業(yè)技巧

目前，Discover Weekly并不完美。Pasick說(shuō)，他的播放列表中通常包含一兩首歌曲是他絕對(duì)喜歡的（Dengue Fever 的“Tiger Phone Card”，以及Mar Superstar 的“Lady You Shot Me”），有一半是非常喜歡的（Gregory Porter 的“1960 What?”），還有幾個(gè)討厭的歌手（為什么我總是收到這么多Neil Diamond的歌曲？）。

為了確保從Discovery Weekly中獲得最喜歡的歌曲，用戶可以如何微調(diào)他們的結(jié)果呢？除了來(lái)自其它重要的Spotify用戶的一些提示，Spotify還給出一些建議，從非常簡(jiǎn)單到非常復(fù)雜的都有，包括：

添加你喜歡的歌曲到播放列表或Spotify庫(kù)。“如果你保存一首歌曲到你的播放列表或到Spotify庫(kù)，然后開(kāi)始定期地調(diào)整它，它會(huì)真正影響Spotify對(duì)你的理解”，Ogle表示。

跳過(guò)你不喜歡的歌曲。如果一首歌曲在前30秒內(nèi)就被用戶pass掉了，Discover Weekly算法將給這首歌曲和相應(yīng)的歌手一個(gè)“thumbs-down”。

聽(tīng)聽(tīng)新的歌手和他們的音樂(lè)?！叭绻覀兘o你推薦一些東西，你通過(guò)點(diǎn)擊歌手，開(kāi)始查看他們的唱片，并同時(shí)加入到播放列表中”，Ogle說(shuō)。“你在Discover Weekly之外瀏覽得越多，就越有可能影響我們?yōu)槟阕龅耐扑]”。

耐心一點(diǎn)。該算法在設(shè)計(jì)中會(huì)忽略新的收聽(tīng)行為中一些迅速地、突然出現(xiàn)的峰值，因?yàn)樵S多人分享他們的Spotify登錄，因此任何新的收聽(tīng)活動(dòng)可能不會(huì)導(dǎo)致你的播放列表的立刻變化。

如果你不想Spotify注意到你的行為，可以使用“私密模式”。Newett 表示，“也許你不想讓別人知道你的偏好，我們會(huì)按照這種“私密模式”，而不跟蹤你的曲目播放”。Spotify會(huì)忽視你在Discovery Weekly中收聽(tīng)的歌曲。“同時(shí)，我們還有一些擔(dān)憂，比如，如果我只聽(tīng)Discovery Weekly，會(huì)不會(huì)出現(xiàn)蛇吞尾巴的現(xiàn)象？”，Newett說(shuō)。

將一些歌曲風(fēng)格過(guò)濾掉。Ogle說(shuō)到，Spotify確實(shí)對(duì)哪些用戶可能想要哪些歌曲做了一些編輯決策，因此有年幼小孩的父母不會(huì)從The Wiggles獲得一百萬(wàn)首歌曲，圣誕歌曲在12月25日之后將大大消失，在大多數(shù)情況下，我們?cè)噲D為它們?cè)O(shè)置一個(gè)護(hù)欄，但同時(shí)也不是絕對(duì)的，因?yàn)镾potify保留了用戶作為人的自主權(quán)利，我們應(yīng)該盡量尊重。

音樂(lè)心靈感應(yīng)的實(shí)驗(yàn)。為了更加深入了解Spotify的推薦，最好的方式是收聽(tīng)其他人的Discovery Weekly播放列表。有一個(gè)很有品位的朋友嗎？問(wèn)他分享一個(gè)他的播放列表的鏈接。默認(rèn)情況下是專有的，但能夠被用戶分享。

用IFTTT保存weekly播放列表。Discover Weekly的一個(gè)缺點(diǎn)是，播放列表每周一會(huì)被擦拭干凈。你可以手動(dòng)地將歌曲保存到另一個(gè)播放列表中，也可以使用免費(fèi)的IFTTT服務(wù)自動(dòng)保存你的weekly播放列表到一個(gè)單獨(dú)的存檔播放列表。

使用Spotify的“廣播”功能。如果你想聽(tīng)到一些新的聲音，并且絕對(duì)不能等到周一，右擊Discovery Weekly，選擇“Start Playlist Radio”，Discovery Weekly服務(wù)將按照你的weekly播放列表，盡最大努力提供一個(gè)與其相似的無(wú)窮列表。

感謝杜小芳對(duì)本文的審校。

給InfoQ中文站投稿或者參與內(nèi)容翻譯工作，請(qǐng)郵件至editors@cn.infoq.com。也歡迎大家通過(guò)新浪微博（@InfoQ，@丁曉昀），微信（微信號(hào)：InfoQChina）關(guān)注我們，并與我們的編輯和其他讀者朋友交流（歡迎加入InfoQ讀者交流群（已滿），InfoQ讀者交流群（#2））。