GO語言商業案例（十八）：stream

切換到新語言始終是一大步，尤其是當您的團隊成員只有一個時有該語言的先前經驗。現在，Stream 的主要編程語言從 Python 切換到了 Go。這篇文章將解釋stream決定放棄 Python 并轉向 Go 的一些原因。

成都創新互聯公司-專業網站定制、快速模板網站建設、高性價比天門網站開發、企業建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式天門網站制作公司更省心,省錢,快速模板網站建設找我們，業務覆蓋天門地區。費用合理售后完善，十多年實體公司更值得信賴。

Go 非常快。性能類似于 Java 或 C++。對于用例，Go 通常比 Python 快 40 倍。

對于許多應用程序來說，編程語言只是應用程序和數據庫之間的粘合劑。語言本身的性能通常并不重要。然而，Stream 是一個API 提供商，為 700 家公司和超過 5 億最終用戶提供提要和聊天平臺。多年來，我們一直在優化 Cassandra、PostgreSQL、Redis 等，但最終，您會達到所使用語言的極限。Python 是一門很棒的語言，但對于序列化/反序列化、排名和聚合等用例，它的性能相當緩慢。我們經常遇到性能問題，Cassandra 需要 1 毫秒來檢索數據，而 Python 會花費接下來的 10 毫秒將其轉換為對象。

看看我如何開始 Go 教程中的一小段 Go 代碼。（這是一個很棒的教程，也是學習 Go 的一個很好的起點。）

如果您是 Go 新手，那么在閱讀那個小代碼片段時不會有太多讓您感到驚訝的事情。它展示了多個賦值、數據結構、指針、格式和一個內置的 HTTP 庫。當我第一次開始編程時，我一直喜歡使用 Python 更高級的功能。Python 允許您在編寫代碼時獲得相當的創意。例如，您可以：

這些功能玩起來很有趣，但是，正如大多數程序員會同意的那樣，在閱讀別人的作品時，它們通常會使代碼更難理解。Go 迫使你堅持基礎。這使得閱讀任何人的代碼并立即了解發生了什么變得非常容易。 注意：當然，它實際上有多“容易”取決于您的用例。如果你想創建一個基本的 CRUD API，我仍然推薦 Django + DRF或 Rails。

作為一門語言，Go 試圖讓事情變得簡單。它沒有引入許多新概念。重點是創建一種非常快速且易于使用的簡單語言。它唯一具有創新性的領域是 goroutine 和通道。（100% 正確CSP的概念始于 1977 年，所以這項創新更多是對舊思想的一種新方法。）Goroutines 是 Go 的輕量級線程方法，通道是 goroutines 之間通信的首選方式。Goroutines 的創建非常便宜，并且只需要幾 KB 的額外內存。因為 Goroutine 非常輕量，所以有可能同時運行數百甚至數千個。您可以使用通道在 goroutine 之間進行通信。Go 運行時處理所有復雜性。goroutines 和基于通道的并發方法使得使用所有可用的 CPU 內核和處理并發 IO 變得非常容易——所有這些都不會使開發復雜化。與 Python/Java 相比，在 goroutine 上運行函數需要最少的樣板代碼。您只需在函數調用前加上關鍵字“go”：

Go 的并發方法很容易使用。與 Node 相比，這是一種有趣的方法，開發人員必須密切關注異步代碼的處理方式。Go 中并發的另一個重要方面是競爭檢測器。這樣可以很容易地確定異步代碼中是否存在任何競爭條件。

我們目前用 Go 編寫的最大的微服務編譯需要 4 秒。與以編譯速度慢而聞名的 Java 和 C++ 等語言相比，Go 的快速編譯時間是一項重大的生產力勝利。我喜歡在程序編譯的時候摸魚，但在我還記得代碼應該做什么的同時完成事情會更好。

首先，讓我們從顯而易見的開始：與 C++ 和 Java 等舊語言相比，Go 開發人員的數量并不多。根據StackOverflow的數據， 38% 的開發人員知道 Java， 19.3% 的人知道 C++，只有 4.6% 的人知道 Go。GitHub 數據顯示了類似的趨勢：Go 比 Erlang、Scala 和 Elixir 等語言使用更廣泛，但不如 Java 和 C++ 流行。幸運的是，Go 是一種非常簡單易學的語言。它提供了您需要的基本功能，僅此而已。它引入的新概念是“延遲”聲明和內置的并發管理與“goroutines”和通道。（對于純粹主義者來說：Go 并不是第一種實現這些概念的語言，只是第一種使它們流行起來的語言。）任何加入團隊的 Python、Elixir、C++、Scala 或 Java 開發人員都可以在一個月內在 Go 上發揮作用，因為它的簡單性。與許多其他語言相比，我們發現組建 Go 開發人員團隊更容易。如果您在博爾德和阿姆斯特丹等競爭激烈的生態系統中招聘人員，這是一項重要的優勢。

對于我們這樣規模的團隊（約 20 人）來說，生態系統很重要。如果您必須重新發明每一個小功能，您根本無法為您的客戶創造價值。Go 對我們使用的工具有很好的支持。實體庫已經可用于 Redis、RabbitMQ、PostgreSQL、模板解析、任務調度、表達式解析和 RocksDB。與 Rust 或 Elixir 等其他較新的語言相比，Go 的生態系統是一個重大勝利。它當然不如 Java、Python 或 Node 之類的語言好，但它很可靠，而且對于許多基本需求，你會發現已經有高質量的包可用。

Gofmt 是一個很棒的命令行實用程序，內置在 Go 編譯器中，用于格式化代碼。就功能而言，它與 Python 的 autopep8 非常相似。我們大多數人并不真正喜歡爭論制表符與空格。格式的一致性很重要，但實際的格式標準并不那么重要。Gofmt 通過使用一種正式的方式來格式化您的代碼來避免所有這些討論。

Go 對協議緩沖區和 gRPC 具有一流的支持。這兩個工具非常適合構建需要通過 RPC 通信的微服務。您只需要編寫一個清單，在其中定義可以進行的 RPC 調用以及它們采用的參數。然后從這個清單中自動生成服務器和客戶端代碼。生成的代碼既快速又具有非常小的網絡占用空間并且易于使用。從同一個清單中，您甚至可以為許多不同的語言生成客戶端代碼，例如 C++、Java、Python 和 Ruby。因此，內部流量不再有模棱兩可的 REST 端點，您每次都必須編寫幾乎相同的客戶端和服務器代碼。.

Go 沒有像 Rails 用于 Ruby、Django 用于 Python 或 Laravel 用于 PHP 那樣的單一主導框架。這是 Go 社區內激烈爭論的話題，因為許多人主張你不應該一開始就使用框架。我完全同意這對于某些用例是正確的。但是，如果有人想構建一個簡單的 CRUD API，他們將更容易使用 Django/DJRF、Rails Laravel 或Phoenix。對于 Stream 的用例，我們更喜歡不使用框架。然而，對于許多希望提供簡單 CRUD API 的新項目來說，缺乏主導框架將是一個嚴重的劣勢。

Go 通過簡單地從函數返回錯誤并期望調用代碼來處理錯誤（或將其返回到調用堆棧）來處理錯誤。雖然這種方法有效，但很容易失去問題的范圍，以確保您可以向用戶提供有意義的錯誤。錯誤包通過允許您向錯誤添加上下文和堆棧跟蹤來解決此問題。另一個問題是很容易忘記處理錯誤。像 errcheck 和 megacheck 這樣的靜態分析工具可以方便地避免犯這些錯誤。雖然這些變通辦法效果很好，但感覺不太對勁。您希望該語言支持正確的錯誤處理。

Go 的包管理絕不是完美的。默認情況下，它無法指定特定版本的依賴項，也無法創建可重現的構建。Python、Node 和 Ruby 都有更好的包管理系統。但是，使用正確的工具，Go 的包管理工作得很好。您可以使用Dep來管理您的依賴項，以允許指定和固定版本。除此之外，我們還貢獻了一個名為的開源工具VirtualGo，它可以更輕松地處理用 Go 編寫的多個項目。

我們進行的一個有趣的實驗是在 Python 中使用我們的排名提要功能并在 Go 中重寫它。看看這個排名方法的例子：

Python 和 Go 代碼都需要執行以下操作來支持這種排名方法：

開發 Python 版本的排名代碼大約花了 3 天時間。這包括編寫代碼、單元測試和文檔。接下來，我們花了大約 2 周的時間優化代碼。其中一項優化是將分數表達式 (simple_gauss(time)*popularity) 轉換為抽象語法樹. 我們還實現了緩存邏輯，可以在未來的特定時間預先計算分數。相比之下，開發此代碼的 Go 版本大約需要 4 天時間。性能不需要任何進一步的優化。因此，雖然 Python 的最初開發速度更快，但基于 Go 的版本最終需要我們團隊的工作量大大減少。另外一個好處是，Go 代碼的執行速度比我們高度優化的 Python 代碼快大約 40 倍。現在，這只是我們通過切換到 Go 體驗到的性能提升的一個示例。

與 Python 相比，我們系統的其他一些組件在 Go 中構建所需的時間要多得多。作為一個總體趨勢，我們看到 開發 Go 代碼需要更多的努力。但是，我們花更少的時間 優化 代碼以提高性能。

我們評估的另一種語言是Elixir.。Elixir 建立在 Erlang 虛擬機之上。這是一種迷人的語言，我們之所以考慮它，是因為我們的一名團隊成員在 Erlang 方面擁有豐富的經驗。對于我們的用例，我們注意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地服務數千個并發請求。但是，如果您查看單個請求的性能，Go 對于我們的用例來說要快得多。我們選擇 Go 而不是 Elixir 的另一個原因是生態系統。對于我們需要的組件，Go 有更成熟的庫，而在許多情況下，Elixir 庫還沒有準備好用于生產環境。培訓/尋找開發人員使用 Elixir 也更加困難。這些原因使天平向 Go 傾斜。Elixir 的 Phoenix 框架看起來很棒，絕對值得一看。

Go 是一種非常高性能的語言，對并發有很好的支持。它幾乎與 C++ 和 Java 等語言一樣快。雖然與 Python 或 Ruby 相比，使用 Go 構建東西確實需要更多時間，但您將節省大量用于優化代碼的時間。我們在Stream有一個小型開發團隊，為超過 5 億最終用戶提供動力和聊天。Go 結合了 強大的生態系統 、新開發人員的 輕松入門、快速的性能 、對并發的 可靠支持和高效的編程環境 ，使其成為一個不錯的選擇。Stream 仍然在我們的儀表板、站點和機器學習中利用 Python 來提供個性化的訂閱源. 我們不會很快與 Python 說再見，但今后所有性能密集型代碼都將使用 Go 編寫。我們新的聊天 API也完全用 Go 編寫。

Go語言HTTPServer開發的六種實現

學完了 net/http 和 fasthttp 兩個HTTP協議接口的客戶端實現，接下來就要開始Server的開發，不學不知道一學嚇一跳，居然這兩個庫還支持Server的開發，太方便了。

相比于Java的HTTPServer開發基本上都是使用Spring或者Springboot框架，總是要配置各種配置類，各種 handle 對象。Golang的Server開發顯得非常簡單，就是因為特別簡單，或者說沒有形成特別統一的規范或者框架，我發現了很多實現方式，HTTP協議基于還是 net/http 和 fasthttp ，但是 handle 語法就多種多樣了。

先復習一下： Golang語言HTTP客戶端實踐 、 Golang fasthttp實踐 。

在Golang語言方面，實現某個功能的庫可能會比較多，有機會還是要多跟同行交流，指不定就發現了更好用的庫。下面我分享我學到的六種Server開發的實現Demo。

基于 net/http 實現，這是一種比較基礎的，對于接口和 handle 映射關系處理并不優雅，不推薦使用。

第二種也是基于 net/http ，這種編寫語法可以很好地解決第一種的問題，handle和path有了類似配置的語法，可讀性提高了很多。

第三個基于 net/http 和 github.com/labstack/echo ，后者主要提供了 Echo 對象用來處理各類配置包括接口和handle映射，功能很豐富，可讀性最佳。

第四種依然基于 net/http 實現，引入了 github.com/gin-gonic/gin 的路由，看起來接口和 handle 映射關系比較明晰了。

第五種基于 fasthttp 開發，使用都是 fasthttp 提供的API，可讀性尚可，handle配置倒是更像Java了。

第六種依然基于 fasthttp ，用到了 github.com/buaazp/fasthttprouter ，有點奇怪兩個居然不在一個GitHub倉庫里。使用語法跟第三種方式有點類似，比較有條理，有利于閱讀。

Go語言基礎語法（一）

本文介紹一些Go語言的基礎語法。

先來看一個簡單的go語言代碼：

go語言的注釋方法：

代碼執行結果：

下面來進一步介紹go的基礎語法。

go語言中格式化輸出可以使用 fmt 和 log 這兩個標準庫，

常用方法：

示例代碼：

執行結果：

更多格式化方法可以訪問中的fmt包。

log包實現了簡單的日志服務，也提供了一些格式化輸出的方法。

執行結果：

下面來介紹一下go的數據類型

下表列出了go語言的數據類型：

int、float、bool、string、數組和struct屬于值類型，這些類型的變量直接指向存在內存中的值；slice、map、chan、pointer等是引用類型，存儲的是一個地址，這個地址存儲最終的值。

常量是在程序編譯時就確定下來的值，程序運行時無法改變。

執行結果：

執行結果：

Go 語言的運算符主要包括算術運算符、關系運算符、邏輯運算符、位運算符、賦值運算符以及指針相關運算符。

算術運算符：

關系運算符：

邏輯運算符：

位運算符：

賦值運算符：

指針相關運算符：

下面介紹一下go語言中的if語句和switch語句。另外還有一種控制語句叫select語句，通常與通道聯用，這里不做介紹。

if語法格式如下：

if ... else ：

else if：

示例代碼：

語法格式：

另外，添加 fallthrough 會強制執行后面的 case 語句，不管下一條case語句是否為true。

示例代碼：

執行結果：

下面介紹幾種循環語句：

執行結果：

執行結果：

也可以通過標記退出循環：

--THE END--

go語言實現一個簡單的簡單網關

網關=反向代理+負載均衡+各種策略，技術實現也有多種多樣，有基于 nginx 使用 lua 的實現，比如 openresty、kong；也有基于 zuul 的通用網關；還有就是 golang 的網關，比如 tyk。

這篇文章主要是講如何基于 golang 實現一個簡單的網關。

轉自： troy.wang/docs/golang/posts/golang-gateway/

整理：go語言鐘文文檔:

啟動兩個后端 web 服務（代碼）

這里使用命令行工具進行測試

具體代碼

直接使用基礎庫 httputil 提供的NewSingleHostReverseProxy即可，返回的reverseProxy對象實現了serveHttp方法，因此可以直接作為 handler。

具體代碼

director中定義回調函數，入參為*http.Request，決定如何構造向后端的請求，比如 host 是否向后傳遞，是否進行 url 重寫，對于 header 的處理，后端 target 的選擇等，都可以在這里完成。

director在這里具體做了：

modifyResponse中定義回調函數，入參為*http.Response，用于修改響應的信息，比如響應的 Body，響應的 Header 等信息。

最終依舊是返回一個ReverseProxy，然后將這個對象作為 handler 傳入即可。

參考 2.2 中的NewSingleHostReverseProxy，只需要實現一個類似的、支持多 targets 的方法即可，具體實現見后面。

作為一個網關服務，在上面 2.3 的基礎上，需要支持必要的負載均衡策略，比如：

隨便 random 一個整數作為索引，然后取對應的地址即可，實現比較簡單。

具體代碼

使用curIndex進行累加計數，一旦超過 rss 數組的長度，則重置。

具體代碼

輪詢帶權重，如果使用計數遞減的方式，如果權重是5,1,1那么后端 rs 依次為a,a,a,a,a,b,c,a,a,a,a…，其中 a 后端會瞬間壓力過大；參考 nginx 內部的加權輪詢，或者應該稱之為平滑加權輪詢，思路是：

后端真實節點包含三個權重：

操作步驟：

具體代碼

一致性 hash 算法，主要是用于分布式 cache 熱點/命中問題；這里用于基于某 key 的 hash 值，路由到固定后端，但是只能是基本滿足流量綁定，一旦后端目標節點故障，會自動平移到環上最近的那么個節點。

實現：

具體代碼

每一種不同的負載均衡算法，只需要實現添加以及獲取的接口即可。

然后使用工廠方法，根據傳入的參數，決定使用哪種負載均衡策略。

具體代碼

作為網關，中間件必不可少，這類包括請求響應的模式，一般稱作洋蔥模式，每一層都是中間件，一層層進去，然后一層層出來。

中間件的實現一般有兩種，一種是使用數組，然后配合 index 計數；一種是鏈式調用。

具體代碼

Go語言設計與實現（上）

基本設計思路：

類型轉換、類型斷言、動態派發。iface，eface。

反射對象具有的方法：

編譯優化：

內部實現：

實現 Context 接口有以下幾個類型（空實現就忽略了）：

互斥鎖的控制邏輯：

設計思路：

（以上為寫被讀阻塞，下面是讀被寫阻塞）

總結，讀寫鎖的設計還是非常巧妙的：

設計思路：

WaitGroup 有三個暴露的函數:

部件：

設計思路：

結構：

Once 只暴露了一個方法：

實現：

三個關鍵點：

細節：

讓多協程任務的開始執行時間可控（按順序或歸一）。（Context 是控制結束時間）

設計思路： 通過一個鎖和內置的 notifyList 隊列實現，Wait() 會生成票據，并將等待協程信息加入鏈表中，等待控制協程中發送信號通知一個（Signal()）或所有（Boardcast()）等待者（內部實現是通過票據通知的）來控制協程解除阻塞。

暴露四個函數：

實現細節：

部件：

包： golang.org/x/sync/errgroup

作用：開啟 func() error 函數簽名的協程，在同 Group 下協程并發執行過程并收集首次 err 錯誤。通過 Context 的傳入，還可以控制在首次 err 出現時就終止組內各協程。

設計思路：

結構：

暴露的方法：

實現細節：

注意問題：

包： "golang.org/x/sync/semaphore"

作用：排隊借資源（如錢，有借有還）的一種場景。此包相當于對底層信號量的一種暴露。

設計思路：有一定數量的資源 Weight，每一個 waiter 攜帶一個 channel 和要借的數量 n。通過隊列排隊執行借貸。

結構：

暴露方法：

細節：

部件：

細節：

包： "golang.org/x/sync/singleflight"

作用：防擊穿。瞬時的相同請求只調用一次，response 被所有相同請求共享。

設計思路：按請求的 key 分組（一個 *call 是一個組，用 map 映射存儲組），每個組只進行一次訪問，組內每個協程會獲得對應結果的一個拷貝。

結構：

邏輯：

細節：

部件：

如有錯誤，請批評指正。