第一百二十三章 系統改造與技術升級
更新時間:2020-04-05 作者:狂花非葉
傳奇1997 第一百二十三章 系統改造與技術升級
正所謂，工欲善其事，必先利其器。 所有業務前端的產品和服務，甚至市場營銷活動。 都需要依靠后端的系統和技術支撐，這也是互聯網公司的核心競爭力。 尤其是在現在易趣的業務線已經非常多。 各種不同的業務類型，對后臺技術的需求也越來越復雜的前提下。 打造一個能夠為前方一線提供足夠支撐和良好用戶體驗的后臺系統， 就成為新成立的“大中臺”事業群的核心工作目標。 可這并不容易…… 就拿電商平臺來看： 易趣公司早期的后臺系統，是由龐勇一個人寫的（易趣網B2C）。 在97年的時候，還用的是C語言和ASP(ActiveServerPages，動態服務器頁面）技術，數據庫用的是SQLServer。 而新成立的淘寶網，則采用了最新的LinuxMySQLPHP的架構。 之所以采用這個架構，是因為一方面用到的技術是開源、免費的，而且無需編譯，發布快速。 這樣一來，光是要將電商平臺在后臺系統做整合，就需要對整個系統架構進行重新升級…… 更不用說，還要涉及到一點也不比電商平臺系統簡單的搜索平臺和社交平臺了。 所以，隋波剛剛布置完一系列的業務線工作， 就被龐勇請來，參加技術委員會的會議。 希望讓他聽一聽大家的討論，最后定下一個方案來。 隋波雖然對技術細節一竅不通， 但是他一直都是公司產品的“首席體驗官”。 可以從用戶體驗的角度，提出需求和改進意見。 這樣，技術部門也可以有針對性的，來進行系統改造和技術升級。 另外最重要的是，無論是升級系統，還是改進技術，增加服務器、購買數據庫軟件…… 這些都是需要耗費大量資金的。 如果不讓隋波這個大老板來聽一聽。 到時候報預算，審批下來也慢啊…… 在技術委員會上，龐勇簡單介紹了目前電商平臺的系統架構情況。 現在暫時來看，整合難度最大的是易趣網和淘寶網。 像，從王川最初開始研發，就有一整套獨立的后臺系統。 現階段只需要做數據接口，打通用戶信息就可以，等到后期，電商和搜索業務交叉的需求增加的時候，再做更進一步的整合。 電商平臺所有產品和功能的底層，其實都是商品管理和交易管理兩大系統。 其中主要包括：存儲數據庫、開發語言、負載均衡、緩存、CDN等。 同時，要想形成真正具備整合能力的“大中臺”，將各種業務線整合在一起，還必須有中間件系統(SOA，分布式組件架構)，如高性能的服務框架、分布式的數據訪問工具等。 簡單來說，首先是商品管理系統。 舉個例子，電商平臺商品管理系統，在后臺系統有個專用名詞叫商品類目屬性。 比如服裝，就要分成男裝、女裝，按照季節，又要分為春夏裝、秋冬裝…… 再繼續細分，還可以分為大衣、T恤、褲子…… 甚至還能再細分到材質，是蕾絲還是純棉…… 這樣，商品的類目屬性就會形成非常復雜的網狀結構。 對此，技術部門最后做出了一個名為Forest（森林）系統，來對商品的數據信息進行結構化，以便于前后臺的調用。 另外有一個難點，就是圖片存儲系統。 前兩年，因為網速和用戶體驗的考慮，易趣網上圖片很少。 但現在，無論是易趣網還是淘寶網上，都已經開始出現了大量圖片。 畢竟圖片無論是在商品展示上，還是交易系統中都非常重要。 “無圖無真相”、“一張好圖勝過千言”。 現在電商平臺的流量中，圖片的訪問流量要占到90以上。 這么多的圖片數據，和這么大的流量，會給后臺系統帶來非常大的壓力。 尤其是大規模的小文件存儲和讀取，這就需要在存儲技術和緩存技術上，進行升級和創新。 同時也對，基礎網絡的帶寬提出了更高的要求。 另外，因為電商平臺所有的功能都需要依賴用戶信息，用戶中心模塊必須單獨拿出來，否則以后系統無法擴展。 這就需要一個中心系統UIC(UserInformationCenter)， 可是UIC拿出來之后，應用系統每天訪問UIC，UIC訪問數據庫讀取用戶信息，以易趣網和淘寶網現在的流量，幾乎每天都有數千萬甚至上億次的讀取，數據庫很快就會崩潰。 這樣，一方面需要進行數據庫的分布式數據分層訪問，另外就是緩存技術。 從前端的緩存，和全局負載均衡設置，傳遞到后端，流量就非常均衡和分散了，對前端的相應性能也大大提高。 無論是數據庫、負載均衡、緩存、開發語言等，這些還是屬于純技術研發的問題。 可CDN就是真正的硬件投入軟件研發了。 什么是CDN？ CDN(ContentDeliveryNetwork，即內容分發網絡)， 它涉及到硬件（服務器）、軟件（系統）、帶寬（就近分布）三個方面。 現在易趣公司在全國已經分布了十多個服務器節點，在電信機房和地方信息港，10M的帶寬，已經遠遠不能滿足現在的網站需求。 首先要升級到100M帶寬，同時對服務器硬件進行升級，并且升級CDN的架構，提高服務器的單機性能。 可以說，CDN直接關系到數據庫存儲、緩存、負載、流量。 會影響到所有平臺系統的效率和前端所有業務產品的用戶體驗…… 一大堆的技術名詞，聽得隋波云山霧繞。 “老龐，你能不能從一個用戶的使用角度，簡單直接的來告訴我，這個系統的后臺運作流程？” 龐勇點點頭，整理了一下思路，說道： “這么來說吧…… 當用戶想要上網買一個商品，他會首先打開我們電商網站，這時，瀏覽器會首先查詢DNS服務器，把網址轉換為IP地址，這會因為不同的地區和不同的網絡，轉換后的IP地址不同。 這首先涉及到負載均衡的第一步，通過DNS解析域名，把你的訪問分配的不同的入口，盡可能保證是所有訪問入口中，最快的一個。” 隋波點點頭，這樣說的確很清晰。 龐勇繼續道：“當你通過入口成功訪問我們電商網站時，就產生了一個PV(PageView，頁面訪問量），同時你作為一個獨立用戶，這次訪問網站的所有頁面均算成一個UV(UniqueVistor，用戶訪問）。” 隋波繼續點點頭，PV和UV是網站規模的重要指標。 “因為同一時刻訪問網站的人數太多，所以，生成網站首頁頁面的服務器不能是僅僅一臺，目前我們用戶生成易趣和淘寶兩個電商網站首頁的服務器就接近100臺，通過負載均衡系統，后臺系統會分配給其中一臺服務器完成。” 隋波明白了，負載均衡系統是第一步。 “通過一系列復雜的邏輯運算和數據處理，給你看的網站首頁的HTML內容就生成了，瀏覽器下一步會加載頁面中用到的CSS、JS(JavaScript)、圖片等樣式、腳本和資源文件。 因為同一個域名下并發加載的資源數量有限，為了保證用戶訪問網站的速度，就需要采用CDN來保證流量的分散和就近的CDN節點。” 隋波默默點頭，對CDN他還是有一定了解的，前世時，BAT三大巨頭都在全國大規模的布置CDN，就是出于數據和網站的效率。 龐勇繼續介紹：“當用戶開始瀏覽首頁，你可能只是沒有明確的購物意圖和目標，只是隨意看看，也可能是有一定的購物意圖，主要是屬性上的需求，又或者已經有了明確的目標，只是進行表和挑選。 這就需要通過網站內的分類目錄和搜索來完成。 其中分類目錄背后，就是剛才我提到的Forest系統。而搜索，目前我們暫時采用了站內搜索的方式，后續會和團隊溝通，借鑒更精確的搜索技術，做到站外搜索能夠直接鏈接到商品頁面。” 隋波點頭表示知道了。 “你找到心儀的商品后，可能會有打開圖片，或者瀏覽商品詳情，加入購物車等等行為。 不論你是否進行了交易，你的訪問行為都會被系統如實記錄下來，用于后續的業務邏輯和數據分析。 這就涉及到了分布式數據存儲和用戶信息中心系統。 就這樣，用戶的瀏覽數據、交易數據和其他數據記錄不斷保存和積累在我們的數據庫中。 并通過我們基于數據計算平臺的，由數百臺服務器組成的數據系統，進行不斷的分析和挖掘。” 隋波聽到這里，這才笑道：“你早這么給我介紹，就很清楚明白了！” 我聽了一下，現在你們“大中臺”事業群的問題是兩個方面。 一個是硬件上的升級，一個是軟件上的升級，對吧？” 龐勇噎了一下，無奈點頭：“這么說……，也沒錯。” 那么多復雜的問題，被隋波這么歸納了一下，也只能感嘆。 像隋波這么牛的人，終于也有缺點啊，他是真不懂技術…… 隋波也從來不諱言這一點。 所以他一直對技術團隊都非常重視，這也是龐勇、周楓、王川這幫人，跟了他這么久，依然覺得跟他混還挺不錯的原因。 除了易趣一直在事業上不斷前進所帶來的成就感，也有隋波的尊重和支持。 否則，這兩年那么多新出現的互聯網創業公司，都曾想過挖易趣的技術團隊，從股份到高薪，也是各種誘惑。 但易趣的核心技術團隊，沒有一個離開的。 隋波當即拍板：“服務器增加，你按照三年內用戶增加到5000萬為標準，需要增加多少服務器，直接報預算。 另外帶寬方面，我們直接和電信談一個全國范圍的合作，所有服務器CDN節點都把帶寬升級，100M不夠就300M。 你說的電商平臺的整合和技術升級，我沒意見。 需要購買國外的數據庫軟件的就買，需要自己研發的，你來組織團隊開發。 你不是已經開始調各業務線的技術人員到總部了嗎？這里面總能找出高手來。 項目研發的團隊獎勵，按照公司規定，之外再加50！ 我就提兩個要求： 第一，系統和技術升級，不能影響到前臺的用戶體驗，至于你們怎么做我不管。 第二，時間，我給你3個月的時間，你必須完成公司各業務線的系統整合。” 龐勇拉他來參加技術委員會，就是為了得到他的支持。 聞言興奮的點頭道：“我明白了，波總，你放心！一定完成任務。” 隋波又說道： “的數據庫和整體系統，復雜程度不亞于電商平臺。 同時搜索團隊現在在優化搜索引擎技術的同時，還在開發營銷平臺。 你和王川你們兩個，平時要多溝通，經驗方面要多交流。” 王川也是技術委員會的成員，聞言和龐勇一起點頭。 傳奇1997 第一百二十三章 系統改造與技術升級
正所謂，工欲善其事，必先利其器。 所有業務前端的產品和服務，甚至市場營銷活動。 都需要依靠后端的系統和技術支撐，這也是互聯網公司的核心競爭力。 尤其是在現在易趣的業務線已經非常多。 各種不同的業務類型，對后臺技術的需求也越來越復雜的前提下。 打造一個能夠為前方一線提供足夠支撐和良好用戶體驗的后臺系統， 就成為新成立的“大中臺”事業群的核心工作目標。 可這并不容易…… 就拿電商平臺來看： 易趣公司早期的后臺系統，是由龐勇一個人寫的（易趣網B2C）。 在97年的時候，還用的是C語言和ASP(ActiveServerPages，動態服務器頁面）技術，數據庫用的是SQLServer。 而新成立的淘寶網，則采用了最新的LinuxMySQLPHP的架構。 之所以采用這個架構，是因為一方面用到的技術是開源、免費的，而且無需編譯，發布快速。 這樣一來，光是要將電商平臺在后臺系統做整合，就需要對整個系統架構進行重新升級…… 更不用說，還要涉及到一點也不比電商平臺系統簡單的搜索平臺和社交平臺了。 所以，隋波剛剛布置完一系列的業務線工作， 就被龐勇請來，參加技術委員會的會議。 希望讓他聽一聽大家的討論，最后定下一個方案來。 隋波雖然對技術細節一竅不通， 但是他一直都是公司產品的“首席體驗官”。 可以從用戶體驗的角度，提出需求和改進意見。 這樣，技術部門也可以有針對性的，來進行系統改造和技術升級。 另外最重要的是，無論是升級系統，還是改進技術，增加服務器、購買數據庫軟件…… 這些都是需要耗費大量資金的。 如果不讓隋波這個大老板來聽一聽。 到時候報預算，審批下來也慢啊…… 在技術委員會上，龐勇簡單介紹了目前電商平臺的系統架構情況。 現在暫時來看，整合難度最大的是易趣網和淘寶網。 像，從王川最初開始研發，就有一整套獨立的后臺系統。 現階段只需要做數據接口，打通用戶信息就可以，等到后期，電商和搜索業務交叉的需求增加的時候，再做更進一步的整合。 電商平臺所有產品和功能的底層，其實都是商品管理和交易管理兩大系統。 其中主要包括：存儲數據庫、開發語言、負載均衡、緩存、CDN等。 同時，要想形成真正具備整合能力的“大中臺”，將各種業務線整合在一起，還必須有中間件系統(SOA，分布式組件架構)，如高性能的服務框架、分布式的數據訪問工具等。 簡單來說，首先是商品管理系統。 舉個例子，電商平臺商品管理系統，在后臺系統有個專用名詞叫商品類目屬性。 比如服裝，就要分成男裝、女裝，按照季節，又要分為春夏裝、秋冬裝…… 再繼續細分，還可以分為大衣、T恤、褲子…… 甚至還能再細分到材質，是蕾絲還是純棉…… 這樣，商品的類目屬性就會形成非常復雜的網狀結構。 對此，技術部門最后做出了一個名為Forest（森林）系統，來對商品的數據信息進行結構化，以便于前后臺的調用。 另外有一個難點，就是圖片存儲系統。 前兩年，因為網速和用戶體驗的考慮，易趣網上圖片很少。 但現在，無論是易趣網還是淘寶網上，都已經開始出現了大量圖片。 畢竟圖片無論是在商品展示上，還是交易系統中都非常重要。 “無圖無真相”、“一張好圖勝過千言”。 現在電商平臺的流量中，圖片的訪問流量要占到90以上。 這么多的圖片數據，和這么大的流量，會給后臺系統帶來非常大的壓力。 尤其是大規模的小文件存儲和讀取，這就需要在存儲技術和緩存技術上，進行升級和創新。 同時也對，基礎網絡的帶寬提出了更高的要求。 另外，因為電商平臺所有的功能都需要依賴用戶信息，用戶中心模塊必須單獨拿出來，否則以后系統無法擴展。 這就需要一個中心系統UIC(UserInformationCenter)， 可是UIC拿出來之后，應用系統每天訪問UIC，UIC訪問數據庫讀取用戶信息，以易趣網和淘寶網現在的流量，幾乎每天都有數千萬甚至上億次的讀取，數據庫很快就會崩潰。 這樣，一方面需要進行數據庫的分布式數據分層訪問，另外就是緩存技術。 從前端的緩存，和全局負載均衡設置，傳遞到后端，流量就非常均衡和分散了，對前端的相應性能也大大提高。 無論是數據庫、負載均衡、緩存、開發語言等，這些還是屬于純技術研發的問題。 可CDN就是真正的硬件投入軟件研發了。 什么是CDN？ CDN(ContentDeliveryNetwork，即內容分發網絡)， 它涉及到硬件（服務器）、軟件（系統）、帶寬（就近分布）三個方面。 現在易趣公司在全國已經分布了十多個服務器節點，在電信機房和地方信息港，10M的帶寬，已經遠遠不能滿足現在的網站需求。 首先要升級到100M帶寬，同時對服務器硬件進行升級，并且升級CDN的架構，提高服務器的單機性能。 可以說，CDN直接關系到數據庫存儲、緩存、負載、流量。 會影響到所有平臺系統的效率和前端所有業務產品的用戶體驗…… 一大堆的技術名詞，聽得隋波云山霧繞。 “老龐，你能不能從一個用戶的使用角度，簡單直接的來告訴我，這個系統的后臺運作流程？” 龐勇點點頭，整理了一下思路，說道： “這么來說吧…… 當用戶想要上網買一個商品，他會首先打開我們電商網站，這時，瀏覽器會首先查詢DNS服務器，把網址轉換為IP地址，這會因為不同的地區和不同的網絡，轉換后的IP地址不同。 這首先涉及到負載均衡的第一步，通過DNS解析域名，把你的訪問分配的不同的入口，盡可能保證是所有訪問入口中，最快的一個。” 隋波點點頭，這樣說的確很清晰。 龐勇繼續道：“當你通過入口成功訪問我們電商網站時，就產生了一個PV(PageView，頁面訪問量），同時你作為一個獨立用戶，這次訪問網站的所有頁面均算成一個UV(UniqueVistor，用戶訪問）。” 隋波繼續點點頭，PV和UV是網站規模的重要指標。 “因為同一時刻訪問網站的人數太多，所以，生成網站首頁頁面的服務器不能是僅僅一臺，目前我們用戶生成易趣和淘寶兩個電商網站首頁的服務器就接近100臺，通過負載均衡系統，后臺系統會分配給其中一臺服務器完成。” 隋波明白了，負載均衡系統是第一步。 “通過一系列復雜的邏輯運算和數據處理，給你看的網站首頁的HTML內容就生成了，瀏覽器下一步會加載頁面中用到的CSS、JS(JavaScript)、圖片等樣式、腳本和資源文件。 因為同一個域名下并發加載的資源數量有限，為了保證用戶訪問網站的速度，就需要采用CDN來保證流量的分散和就近的CDN節點。” 隋波默默點頭，對CDN他還是有一定了解的，前世時，BAT三大巨頭都在全國大規模的布置CDN，就是出于數據和網站的效率。 龐勇繼續介紹：“當用戶開始瀏覽首頁，你可能只是沒有明確的購物意圖和目標，只是隨意看看，也可能是有一定的購物意圖，主要是屬性上的需求，又或者已經有了明確的目標，只是進行表和挑選。 這就需要通過網站內的分類目錄和搜索來完成。 其中分類目錄背后，就是剛才我提到的Forest系統。而搜索，目前我們暫時采用了站內搜索的方式，后續會和團隊溝通，借鑒更精確的搜索技術，做到站外搜索能夠直接鏈接到商品頁面。” 隋波點頭表示知道了。 “你找到心儀的商品后，可能會有打開圖片，或者瀏覽商品詳情，加入購物車等等行為。 不論你是否進行了交易，你的訪問行為都會被系統如實記錄下來，用于后續的業務邏輯和數據分析。 這就涉及到了分布式數據存儲和用戶信息中心系統。 就這樣，用戶的瀏覽數據、交易數據和其他數據記錄不斷保存和積累在我們的數據庫中。 并通過我們基于數據計算平臺的，由數百臺服務器組成的數據系統，進行不斷的分析和挖掘。” 隋波聽到這里，這才笑道：“你早這么給我介紹，就很清楚明白了！” 我聽了一下，現在你們“大中臺”事業群的問題是兩個方面。 一個是硬件上的升級，一個是軟件上的升級，對吧？” 龐勇噎了一下，無奈點頭：“這么說……，也沒錯。” 那么多復雜的問題，被隋波這么歸納了一下，也只能感嘆。 像隋波這么牛的人，終于也有缺點啊，他是真不懂技術…… 隋波也從來不諱言這一點。 所以他一直對技術團隊都非常重視，這也是龐勇、周楓、王川這幫人，跟了他這么久，依然覺得跟他混還挺不錯的原因。 除了易趣一直在事業上不斷前進所帶來的成就感，也有隋波的尊重和支持。 否則，這兩年那么多新出現的互聯網創業公司，都曾想過挖易趣的技術團隊，從股份到高薪，也是各種誘惑。 但易趣的核心技術團隊，沒有一個離開的。 隋波當即拍板：“服務器增加，你按照三年內用戶增加到5000萬為標準，需要增加多少服務器，直接報預算。 另外帶寬方面，我們直接和電信談一個全國范圍的合作，所有服務器CDN節點都把帶寬升級，100M不夠就300M。 你說的電商平臺的整合和技術升級，我沒意見。 需要購買國外的數據庫軟件的就買，需要自己研發的，你來組織團隊開發。 你不是已經開始調各業務線的技術人員到總部了嗎？這里面總能找出高手來。 項目研發的團隊獎勵，按照公司規定，之外再加50！ 我就提兩個要求： 第一，系統和技術升級，不能影響到前臺的用戶體驗，至于你們怎么做我不管。 第二，時間，我給你3個月的時間，你必須完成公司各業務線的系統整合。” 龐勇拉他來參加技術委員會，就是為了得到他的支持。 聞言興奮的點頭道：“我明白了，波總，你放心！一定完成任務。” 隋波又說道： “的數據庫和整體系統，復雜程度不亞于電商平臺。 同時搜索團隊現在在優化搜索引擎技術的同時，還在開發營銷平臺。 你和王川你們兩個，平時要多溝通，經驗方面要多交流。” 王川也是技術委員會的成員，聞言和龐勇一起點頭。 傳奇1997 第一百二十三章 系統改造與技術升級
Copyright (C) 2012-2012 哎呦文學網 All Rights Reserved