重慶分公司
重慶分公司，新征程啟航
為企業(yè)提供網(wǎng)站建設(shè)、域名注冊、服務(wù)器等服務(wù)
Docker跨主機(jī)網(wǎng)絡(luò)(manual)的實(shí)現(xiàn)
服務(wù)器
1. Macvlan 簡介
在 Macvlan 出現(xiàn)之前，我們只能為一塊以太網(wǎng)卡添加多個(gè) IP 地址，卻不能添加多個(gè) MAC 地址，因?yàn)?MAC 地址正是通過其全球唯一性來標(biāo)識(shí)一塊以太網(wǎng)卡的，即便你使用了創(chuàng)建 ethx:y 這樣的方式，你會(huì)發(fā)現(xiàn)所有這些“網(wǎng)卡”的 MAC 地址和 ethx 都是一樣的，本質(zhì)上，它們還是一塊網(wǎng)卡，這將限制你做很多二層的操作。有了 Macvlan 技術(shù)，你可以這么做了。
Macvlan 允許你在主機(jī)的一個(gè)網(wǎng)絡(luò)接口上配置多個(gè)虛擬的網(wǎng)絡(luò)接口，這些網(wǎng)絡(luò) interface 有自己獨(dú)立的 MAC 地址，也可以配置上 IP 地址進(jìn)行通信。Macvlan 下的虛擬機(jī)或者容器網(wǎng)絡(luò)和主機(jī)在同一個(gè)網(wǎng)段中，共享同一個(gè)廣播域。Macvlan 和 Bridge 比較相似，但因?yàn)樗∪チ?Bridge 的存在，所以配置和調(diào)試起來比較簡單，而且效率也相對(duì)高。除此之外，Macvlan 自身也完美支持 VLAN。
同一 VLAN 間數(shù)據(jù)傳輸是通過二層互訪，即 MAC 地址實(shí)現(xiàn)的，不需要使用路由。不同 VLAN 的用戶單播默認(rèn)不能直接通信，如果想要通信，還需要三層設(shè)備做路由，Macvlan 也是如此。用 Macvlan 技術(shù)虛擬出來的虛擬網(wǎng)卡，在邏輯上和物理網(wǎng)卡是對(duì)等的。物理網(wǎng)卡也就相當(dāng)于一個(gè)交換機(jī)，記錄著對(duì)應(yīng)的虛擬網(wǎng)卡和 MAC 地址，當(dāng)物理網(wǎng)卡收到數(shù)據(jù)包后，會(huì)根據(jù)目的 MAC 地址判斷這個(gè)包屬于哪一個(gè)虛擬網(wǎng)卡。這也就意味著，只要是從 Macvlan 子接口發(fā)來的數(shù)據(jù)包（或者是發(fā)往 Macvlan 子接口的數(shù)據(jù)包），物理網(wǎng)卡只接收數(shù)據(jù)包，不處理數(shù)據(jù)包，所以這就引出了一個(gè)問題：本機(jī) Macvlan 網(wǎng)卡上面的 IP 無法和物理網(wǎng)卡上面的 IP 通信！關(guān)于這個(gè)問題的解決方案我們下一節(jié)再討論。
簡單來說，Macvlan 虛擬網(wǎng)卡設(shè)備是寄生在物理網(wǎng)卡設(shè)備上的。發(fā)包時(shí)調(diào)用自己的發(fā)包函數(shù)，查找到寄生的物理設(shè)備，然后通過物理設(shè)備發(fā)包。收包時(shí)，通過注冊寄生的物理設(shè)備的 rx_handler 回調(diào)函數(shù)，處理數(shù)據(jù)包。
2.簡單介紹manual的流程
macvlan 就如它的名字一樣，是一種網(wǎng)卡虛擬化技術(shù)，它能夠?qū)⒁粋€(gè)物理網(wǎng)卡虛擬出多個(gè)接口，每個(gè)接口都可以配置 MAC 地址，同樣每個(gè)接口也可以配自己的 IP，每個(gè)接口就像交換機(jī)的端口一樣，可以為它劃分 VLAN。
macvlan 的做法其實(shí)就是將這些虛擬出來的接口與 Docker 容器直連來達(dá)到通信的目的。一個(gè) macvlan 網(wǎng)絡(luò)對(duì)應(yīng)一個(gè)接口，不同的 macvlan 網(wǎng)絡(luò)分配不同的子網(wǎng)，因此，相同的 macvlan 之間可以互相通信，不同的 macvlan 網(wǎng)絡(luò)之間在二層上不能通信，需要借助三層的路由器才能完成通信，如下，顯示的就是兩個(gè)不同的 macvlan 網(wǎng)絡(luò)之間的通信流程。
我們用一個(gè) Linux 主機(jī)，通過配置其路由表和 iptables，將其配成一個(gè)路由器（當(dāng)然是虛擬的），就可以完成不同 macvlan 網(wǎng)絡(luò)之間的數(shù)據(jù)交換，當(dāng)然用物理路由器也是沒毛病的。
3.Macvlan 的特點(diǎn)：
1.可讓使用者在同一張實(shí)體網(wǎng)卡上設(shè)定多個(gè) MAC 地址。
2.承上，帶有上述設(shè)定的 MAC 地址的網(wǎng)卡稱為子接口（sub interface）；而實(shí)體網(wǎng)卡則稱為父接口（parent interface）。
3.parent interface 可以是一個(gè)物理接口（eth0），可以是一個(gè) 802.1q 的子接口（eth0.10），也可以是 bonding 接口。
4.可在 parent/sub interface 上設(shè)定的不只是 MAC 地址，IP 地址同樣也可以被設(shè)定。
5.sub interface 無法直接與 parent interface 通訊 (帶有 sub interface 的 VM 或容器無法與 host 直接通訊)。
承上，若 VM 或容器需要與 host 通訊，那就必須額外建立一個(gè) sub 6.interface 給 host 用。
7.sub interface 通常以 mac0@eth0 的形式來命名以方便區(qū)別。
用張圖來解釋一下設(shè)定 Macvlan 后的樣子：
4.實(shí)驗(yàn)環(huán)境
docker01
docker02
192.168.1.11
192.168.1.13
關(guān)閉防火墻和禁用selinux，更改主機(jī)名
[root@localhost ~]# hostnamectl set-hostname docker01 [root@localhost ~]# su - 上一次登錄：二 12月 17 08:20:36 CST 2019從 192.168.1.1pts/0 上 [root@docker01 ~]# systemctl stop firealld Failed to stop firealld.service: Unit firealld.service not loaded. [root@docker01 ~]# setenforce 0 setenforce: SELinux is disabled [root@docker01 ~]# systemctl daemon-reload [root@docker01 ~]# systemctl restart docker 4.1 macvlan的單網(wǎng)絡(luò)通信
4.1 macvlan的單網(wǎng)絡(luò)通信
//需要在docker01和docker02_上都進(jìn)行操作。 [root@docker01 ~]# ip link show ens33 //查看網(wǎng)卡模式
[root@docker01 ~]# ip link set ens33 promisc on //創(chuàng)建網(wǎng)卡模式為混雜模式 [root@docker01 ~]# ip link show ens33 //查看網(wǎng)卡模式
2)在docker01.上創(chuàng)建macvlan網(wǎng)絡(luò)
[root@docker01 ~]# docker network create -d macvlan --subnet 172.22.16.0/24 --gateway 172.22.16.1 -o parent=ens33 mac_net1 // 創(chuàng)建一個(gè)macvlan模式的網(wǎng)絡(luò) -o parent=綁定在哪張網(wǎng)卡之上 [root@docker01 ~]# docker network ls //查看網(wǎng)卡信息
3)基于創(chuàng)建的macvlan網(wǎng)絡(luò)運(yùn)行一個(gè)容器
[root@docker01 ~]# docker run -itd --name bbox1 --ip 172.22.16.10 --network mac_net1 busybox
4)在docker02.上創(chuàng)建macvlan網(wǎng)絡(luò)（要和docker01的macvlan一模一樣）
[root@docker02 ~]# docker network create -d macvlan --subnet 172.22.16.0/24 --gateway 172.22.16.1 -o parent=ens33 mac_net1 [root@docker02 ~]# docker network ls
5)在docker02. 上，基于創(chuàng)建的macvlan網(wǎng)絡(luò)運(yùn)行一個(gè)容器，驗(yàn)證與docker01.上容器的通信。
[root@docker02 ~]# docker run -itd --name bbox2 --network mac_net1 --ip 172.22.16.20 busybox //基于busybox創(chuàng)建一個(gè)容器 [root@docker02 ~]# docker exec -it bbox2 /bin/sh //進(jìn)入bbox2容器 / # ping 172.22.16.10 //ping一下docker01的主機(jī)
4.2macvlan的多網(wǎng)絡(luò)通信
1） docker01和docker02驗(yàn)證內(nèi)核模塊8021q封裝
macvlan需要解決的問題:基于真實(shí)的ens33網(wǎng)卡，生產(chǎn)新的虛擬網(wǎng)卡。
[root@docker01 ~]# modinfo 8021q //驗(yàn)證內(nèi)核模塊8021q封裝
[root@docker01 ~]# modprobe 8021q //如果內(nèi)核模塊沒有開啟，運(yùn)行上邊的命令導(dǎo)入一下
2)docker01基于ens33創(chuàng)建虛擬網(wǎng)卡
修改ens33網(wǎng)卡配置文件
[root@docker01 ~]# cd /etc/sysconfig/network-scripts/ [root@docker01 network-scripts]# vim ifcfg-ens33
[root@docker01 ~]# cd /etc/sysconfig/network-scripts/ [root@docker01 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33.10 //-p保留源文件或目錄的屬性 [root@docker01 network-scripts]# vim ifcfg-ens33.10 //修改ens33.10網(wǎng)卡配置文件 BOOTPROTO=none NAME=ens33.10 DEVICE=ens33.10 ONBOOT=yes IPADDR=192.168.10.10 PREFIX=24 GATEWAY=192.168.10.2 VLAN=yes
這里注意，IP要和ens33網(wǎng)段做一個(gè)區(qū)分， 保證網(wǎng)關(guān)和網(wǎng)段IP的一致性，設(shè)備名稱和配置文件的-致性,并且打開VLAN支持模式。
創(chuàng)建第二個(gè)虛擬網(wǎng)卡配置文件
[root@docker01 network-scripts]# cp -p ifcfg-ens33.10 ifcfg-ens33.20 [root@docker01 network-scripts]# vim ifcfg-ens33.20 //修改ens33.20網(wǎng)卡配置文件 BOOTPROTO=none NAME=ens33.20 DEVICE=ens33.20 ONBOOT=yes IPADDR=192.168.20.20 PREFIX=24 GATEWAY=192.168.20.2 VLAN=yes
docker01上的操作，啟用創(chuàng)建的虛擬網(wǎng)卡:
[root@docker01 network-scripts]# ifup ifcfg-ens33.10 [root@docker01 network-scripts]# ifup ifcfg-ens33.20 [root@docker01 network-scripts]# ifconfig //查看IP
3)docker02基于ens33創(chuàng)建虛擬網(wǎng)卡
修改ens33網(wǎng)卡配置文件
[root@docker02 ~]# cd /etc/sysconfig/network-scripts/ [root@docker02 network-scripts]# vim ifcfg-ens33
[root@docker02 ~]# cd /etc/sysconfig/network-scripts/ [root@docker02 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33.10 //-p保留源文件或目錄的屬性 [root@docker02 network-scripts]# vim ifcfg-ens33.10 //修改ens33.10網(wǎng)卡配置文件 BOOTPROTO=none NAME=ens33.10 DEVICE=ens33.10 ONBOOT=yes IPADDR=192.168.10.11 PREFIX=24 GATEWAY=192.168.10.2 VLAN=yes
這里注意，IP要和ens33網(wǎng)段做一個(gè)區(qū)分， 保證網(wǎng)關(guān)和網(wǎng)段IP的一致性，設(shè)備名稱和配置文件的-致性,并且打開VLAN支持模式。
創(chuàng)建第二個(gè)虛擬網(wǎng)卡配置文件
[root@docker02 network-scripts]# cp -p ifcfg-ens33.10 ifcfg-ens33.20 [root@docker02 network-scripts]# vim ifcfg-ens33.20 //修改ens33.20網(wǎng)卡配置文件 BOOTPROTO=none NAME=ens33.20 DEVICE=ens33.20 ONBOOT=yes IPADDR=192.168.20.21 PREFIX=24 GATEWAY=192.168.20.2 VLAN=yes
docker02上的操作，啟用創(chuàng)建的虛擬網(wǎng)卡:
[root@docker02 network-scripts]# systemctl restart network [root@docker02 network-scripts]# ifup ifcfg-ens33.10 [root@docker02 network-scripts]# ifup ifcfg-ens33.20 [root@docker02 network-scripts]# ifconfig //查看IP
[root@docker02 network-scripts]# docker network create -d macvlan --subnet 172.16.10.0/24 --gateway 172.16.10.1 -o parent=ens33.10 mac_net10 //創(chuàng)建一個(gè)新的網(wǎng)卡基于ens33.10 [root@docker02 network-scripts]# docker network create -d macvlan --subnet 172.16.20.0/24 --gateway 172.16.20.1 -o parent=ens33.20 mac_net20 //創(chuàng)建一個(gè)新的網(wǎng)卡基于ens33.20
5）Docker01部署一個(gè)私有倉庫
Docker01
docker pull registry //下載registry鏡像 docker run -itd --name registry -p 5000:5000 --restart=always registry:latest //基于registry鏡像，啟動(dòng)一臺(tái)容器 docker tag busybox:latest 192.168.1.11:5000/busybox:v1 //把容器重命名一個(gè)標(biāo)簽 docker ps
vim /usr/lib/systemd/system/docker.service #13行修改 ExecStart=/usr/bin/dockerd --insecure-registry 192.168.1.11:5000 systemctl daemon-reload systemctl restart docker.service //重啟docker docker push 192.168.1.11:5000/busybox:v1 //上傳容器到私有倉庫 docker images
Docker02
vim /usr/lib/systemd/system/docker.service #13行修改 ExecStart=/usr/bin/dockerd --insecure-registry 192.168.1.11:5000 systemctl daemon-reload systemctl restart docker.service //重啟docker docker pull 192.168.1.11/busybox:v1 //下載剛剛上傳的鏡像
6）docker01和docker02基于busybox:v1鏡像和網(wǎng)卡mac_net10，mac_net20，創(chuàng)建容器。
Docker01
[root@docker01 ~]# docker run -itd --name bbox10 --network mac_net10 --ip 172.16.10.10 192.168.1.11:5000/busybox:v1 [root@docker01 ~]# docker run -itd --name bbox20 --network mac_net20 --ip 172.16.20.20 192.168.1.11:5000/busybox:v1 **Docker02**
[root@docker02 ~]# docker run -itd --name bbox10 --network mac_net10 --ip 172.16.10.10 192.168.1.11:5000/busybox:v1 [root@docker02 ~]# docker run -itd --name bbox20 --network mac_net20 --ip 172.16.20.20 192.168.1.11:5000/busybox:v1
***這里只需注意，我們在這里的操作跟在docker01和上面的操作是一模一樣的，操作順序大致為:
驗(yàn)證8021q內(nèi)核封裝
基于ens33網(wǎng)卡創(chuàng)建新的虛擬網(wǎng)卡,ens33.10和ens33.20 (注意和docker01. 上的ens33.10和ens33.20必須是在同一-網(wǎng)段，且IP不能沖突)基于此網(wǎng)絡(luò)運(yùn)行容器。(注意和docker01 上的容器，都是基于剛剛創(chuàng)建的macvlan網(wǎng)絡(luò)，但I(xiàn)P地址不能沖突)
7）驗(yàn)證
在docker01.上進(jìn)入容器bbox10和docker02.上的bbox11進(jìn)行通信。
在docker01.上進(jìn)入容器bbox20和docker02.上的bbox21進(jìn)行通信。
注意: VMware的網(wǎng)絡(luò)必須設(shè)置為Bridge模式。
現(xiàn)在把docker01和docker02的網(wǎng)絡(luò)模式設(shè)置為橋接模式
[root@docker01 ~]# docker exec -it bbox10 /bin/sh / # ping 172.16.20.20
[root@docker02 ~]# docker exec -it bbox20 /bin/sh / # ping 172.16.20.20
5.Macvlan 的局限性
Macvlan 是將 VM 或容器通過二層連接到物理網(wǎng)絡(luò)的近乎理想的方案，但它也有一些局限性：
1.Linux 主機(jī)連接的交換機(jī)可能會(huì)限制同一個(gè)物理端口上的 MAC 地址數(shù)量。雖然你可以讓網(wǎng)絡(luò)管理員更改這些策略，但有時(shí)這種方法是無法實(shí)行的（比如你要去給客戶做一個(gè)快速的 PoC 演示）。
2.許多 NIC 也會(huì)對(duì)該物理網(wǎng)卡上的 MAC地址數(shù)量有限制。超過這個(gè)限制就會(huì)影響到系統(tǒng)的性能。
3.IEEE 802.11 不喜歡同一個(gè)客戶端上有多個(gè) MAC 地址，這意味著你的 Macvlan 子接口在無線網(wǎng)卡或 AP 中都無法通信。可以通過復(fù)雜的辦法來突破這種限制，但還有一種更簡單的辦法，那就是使用 Ipvlan，感興趣可以自己查閱相關(guān)資料。
6.總結(jié)
macvlan是一種網(wǎng)卡虛擬化技術(shù)，能夠?qū)⒁粡埦W(wǎng)卡虛擬出多張網(wǎng)卡。
macvlan的特定通信模式，常用模式是bridge。
在Docker中，macvlan只支持bridge模式。
相同的macvlan可以通信，不同的macvlan二層無法通信，可以通過三層路由完成通信。
思考一下：
macvlan bridge和bridge的異同點(diǎn)
還有一種類似的技術(shù)，多張?zhí)摂M網(wǎng)卡共享相同MAC地址，但有獨(dú)立的IP地址，這是什么技術(shù)？
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持創(chuàng)新互聯(lián)。
當(dāng)前名稱：Docker跨主機(jī)網(wǎng)絡(luò)(manual)的實(shí)現(xiàn)
文章地址：http://www.xueling.net.cn/article/cjjisc.html