如TensorFlow這樣的項(xiàng)目更易于構(gòu)建機(jī)器學(xué)習(xí)算法，并為某些特定類型的數(shù)據(jù)輸入做適應(yīng)學(xué)習(xí)，而TensorFlow Serving則專注于讓這些模型能夠加入到產(chǎn)品環(huán)境中。開發(fā)者使用TensorFlow構(gòu)建模型，然后使用TensorFlow Serving的API從客戶端對(duì)輸入做回應(yīng)。谷歌同時(shí)還表示，TensorFlow Serving能夠利用GPU資源加速處理過程。

如谷歌所說，有了這樣的系統(tǒng)并不僅僅意味著開發(fā)者能夠?qū)⑵錁?gòu)建的模型更快的應(yīng)用到產(chǎn)品中，而且還能夠?qū)嶒?yàn)不同的算法和模型，并且仍保持穩(wěn)定的結(jié)構(gòu)。開發(fā)者還能夠基于新的數(shù)據(jù)改善模型或者其輸出，而架構(gòu)的其它部分仍保持穩(wěn)定。

谷歌表示，TensorFlow Serving采用C++編寫，為性能做有優(yōu)化，在16核至強(qiáng)設(shè)備上，每核每秒能夠處理超過10萬個(gè)請(qǐng)求。當(dāng)前TensorFlow Serving的code以及教程已經(jīng)能夠在GitHub獲取到（點(diǎn)擊這里）。