正文

linux网络协议栈源码分析-网络层ip网际协议(代码片段)

arm7star  arm7star  2022-12-03  628

关键词：

1、IP报文

1.1、IP报文格式

更详细的介绍参考《TCP/IP详解卷 1：协议》第3章 IP：网际协议。

1.2、IP首部结构体

struct iphdr 
#if defined(__LITTLE_ENDIAN_BITFIELD)
	__u8	ihl:4,
		version:4;
#elif defined (__BIG_ENDIAN_BITFIELD)
	__u8	version:4,
  		ihl:4;
#else
#error	"Please fix <asm/byteorder.h>"
#endif
	__u8	tos;
	__be16	tot_len;
	__be16	id;
	__be16	frag_off;
	__u8	ttl;
	__u8	protocol;
	__sum16	check;
	__be32	saddr;
	__be32	daddr;
	/*The options start here. */
;

3位标志位:

/* IP flags. */
#define IP_CE		0x8000		/* Flag: "Congestion"		*/
#define IP_DF		0x4000		/* Flag: "Don't Fragment"	*/
#define IP_MF		0x2000		/* Flag: "More Fragments"	*/
#define IP_OFFSET	0x1FFF		/* "Fragment Offset" part	*/

2、IP路由缓存查找

(参考资料《Linux Kernel Networking - Implementation and Theory》、机械工业出版社《Linux内核源码剖析：TCP/IP实现(上册)》)

2.1、输出路由缓存查询(ip_route_output_key)

__ip_route_output_key_hash返回路由rtable，rtable里面包含路由缓存项dst_entry，对于输出路由，主要用到了路由及路由缓存项的输出函数指针output、网卡设备net_device、网关rt_gateway，__ip_route_output_key_hash调用栈:

dst_output调用路由缓存的输出函数指针output，然后调用ip_output、ip_finish_output、ip_finish_output2，ip_finish_output2找到路由缓的下一跳(网关或者局域网内的其他主机)，然后调用邻居子系统的dst_neigh_output发送报文，ip_finish_output2邻居查找及报文发送代码实现如下:

ip_finish_output2函数调用栈如下:

2.2、输入路由缓存查询(ip_route_input/ip_route_input_noref)

ip_route_input_slow调用skb_dst_set_noref设置skb的路由缓存，路由缓存dst包含一个输入函数指针，最终调用该输入函数处理输入报文:

ip_route_input_slow调用栈:

查找到路由缓存之后，调用dst_input函数，dst_input函数调用路由缓存的input函数处理报文，dst_input调用栈:

3、IP报文输出

3.1、IP报文发送(ip_queue_xmit)

ip_queue_xmit主要检查skb是否已经设置路由，如果没有就查找路由，如果找不到路由就丢弃报文；有路由就设置IP首部(IP首部的16位总长度、16位首部检验和在下一级函数设置)，调用ip_local_out、rt->dst.output输出IP报文。

ip_queue_xmit代码实现如下:

int ip_queue_xmit(struct sock *sk, struct sk_buff *skb, struct flowi *fl)

	struct inet_sock *inet = inet_sk(sk);
	struct net *net = sock_net(sk);
	struct ip_options_rcu *inet_opt;
	struct flowi4 *fl4;
	struct rtable *rt;
	struct iphdr *iph;
	int res;

	/* Skip all of this if the packet is already routed,
	 * f.e. by something like SCTP.
	 */
	rcu_read_lock();
	inet_opt = rcu_dereference(inet->inet_opt);
	fl4 = &fl->u.ip4;
	rt = skb_rtable(skb); // skb路由项(输出网卡设备、下一跳地址等)
	if (rt)
		goto packet_routed; // 如果已经有路由，那么跳转到packet_routed，使用已经设置好的路由

	/* Make sure we can route this packet. */
	rt = (struct rtable *)__sk_dst_check(sk, 0); // 获取路由项缓存sk_dst_cache
	if (!rt) 
		__be32 daddr;

		/* Use correct destination address if we have options. */
		daddr = inet->inet_daddr;
		if (inet_opt && inet_opt->opt.srr)
			daddr = inet_opt->opt.faddr;

		/* If this fails, retransmit mechanism of transport layer will
		 * keep trying until route appears or the connection times
		 * itself out.
		 */
		rt = ip_route_output_ports(net, fl4, sk,
					   daddr, inet->inet_saddr,
					   inet->inet_dport,
					   inet->inet_sport,
					   sk->sk_protocol,
					   RT_CONN_FLAGS(sk),
					   sk->sk_bound_dev_if); // 调用ip_route_output_ports、ip_route_output_flow查询输出路由缓存；参考机械工业出版社《Linux内核源码剖析：TCP IP实现(下册)》"第20章 路由缓存"
		if (IS_ERR(rt))
			goto no_route; // 没有路由则跳转到no_route，丢弃报文
		sk_setup_caps(sk, &rt->dst);
	
	skb_dst_set_noref(skb, &rt->dst); // 设置skb->_skb_refdst

packet_routed:
	if (inet_opt && inet_opt->opt.is_strictroute && rt->rt_uses_gateway)
		goto no_route;

	/* OK, we know where to send it, allocate and build IP header. */
	skb_push(skb, sizeof(struct iphdr) + (inet_opt ? inet_opt->opt.optlen : 0)); // 获取IP首部在skb里面的地址(如果有选项，需要计算选项的长度，否则为0；从传输层数据之前预留的就是IP首部地址空间)
	skb_reset_network_header(skb);
	iph = ip_hdr(skb); // 获取IP首部地址
	*((__be16 *)iph) = htons((4 << 12) | (5 << 8) | (inet->tos & 0xff)); // IP首部前16位为: 4位版本号、4位首部长度、8位服务类型(TOS)；(4 << 12)为4位版本号，IPv4，(5 << 8)为4位首部长度，5*4共20字节(此次没加上选项长度), (inet->tos & 0xff)为8位服务类型(TOS)
	if (ip_dont_fragment(sk, &rt->dst) && !skb->ignore_df)
		iph->frag_off = htons(IP_DF); // IP不分片(Don’t Fragment)
	else
		iph->frag_off = 0;
	iph->ttl      = ip_select_ttl(inet, &rt->dst); // 8位生存时间(TTL)
	iph->protocol = sk->sk_protocol; // 8位协议(IPPROTO_TCP/IPPROTO_UDP)
	ip_copy_addrs(iph, fl4); // 32位源IP地址

	/* Transport layer set skb->h.foo itself. */

	if (inet_opt && inet_opt->opt.optlen)  // 选项(如果有)
		iph->ihl += inet_opt->opt.optlen >> 2; // 修正4位首部长度
		ip_options_build(skb, &inet_opt->opt, inet->inet_daddr, rt, 0); // 拷贝选项
	

	ip_select_ident_segs(net, skb, sk,
			     skb_shinfo(skb)->gso_segs ?: 1); // 16位标识(每个IP报文有唯一的标识，通过16位标识区分是否是一个IP报文的分片)

	/* TODO : should we use skb->sk here instead of sk ? */
	skb->priority = sk->sk_priority;
	skb->mark = sk->sk_mark;

	res = ip_local_out(net, sk, skb); // 调用ip_local_out发送IP报文(IP首部的16位总长度在函数__ip_local_out里面设置，16位首部检验和在函数ip_send_check设置)
	rcu_read_unlock();
	return res;

no_route:
	rcu_read_unlock();
	IP_INC_STATS(net, IPSTATS_MIB_OUTNOROUTES);
	kfree_skb(skb);
	return -EHOSTUNREACH;

3.2、ip_queue_xmit调用栈

ip_queue_xmit调用栈如下:

4、IP报文输入

4.1、IP报文输入流程

ip_packet_type定义ETH_P_IP报文输入函数:

static struct packet_type ip_packet_type __read_mostly = 
	.type = cpu_to_be16(ETH_P_IP),
	.func = ip_rcv,
;

以太网首部:

struct ethhdr 
	unsigned char	h_dest[ETH_ALEN];	/* destination eth addr	*/
	unsigned char	h_source[ETH_ALEN];	/* source ether addr	*/
	__be16		h_proto;		/* packet type ID field	*/
 __attribute__((packed));

smsc911x_poll调用eth_type_trans读取以太网首部类型字段并设置接收报文类型skb->protocol:

__netif_receive_skb_core找到ip_packet_type，并调用输入函数ip_rcv处理输入报文:

ip_rcv函数调用栈:

4.2、IP报文校验(ip_rcv)

ip_rcv校验IP首部各字段、校验和、总长度等，校验通过之后调用ip_rcv_finish继续处理IP报文。

ip_rcv函数代码实现:

int ip_rcv(struct sk_buff *skb, struct net_device *dev, struct packet_type *pt, struct net_device *orig_dev)

	const struct iphdr *iph;
	struct net *net;
	u32 len;

	/* When the interface is in promisc. mode, drop all the crap
	 * that it receives, do not try to analyse it.
	 */
	if (skb->pkt_type == PACKET_OTHERHOST) // eth_type_trans比较以太网首部的目的地址是否是输入网卡的地址，如果不是，设置skb->pkt_type为PACKET_OTHERHOST
		goto drop; // 丢弃发往其他主机的IP报文


	net = dev_net(dev);
	IP_UPD_PO_STATS_BH(net, IPSTATS_MIB_IN, skb->len);

	skb = skb_share_check(skb, GFP_ATOMIC);
	if (!skb) 
		IP_INC_STATS_BH(net, IPSTATS_MIB_INDISCARDS);
		goto out;
	

	if (!pskb_may_pull(skb, sizeof(struct iphdr))) // 报文长度检查(IP首部的长度)
		goto inhdr_error; // 报文的长度小于IP首部的长度(不包含选项)，也就是不完整的IP报文，或者有其他错误，跳转到inhdr_error

	iph = ip_hdr(skb); // 获取IP首部地址

	/*
	 *	RFC1122: 3.2.1.2 MUST silently discard any IP frame that fails the checksum.
	 *
	 *	Is the datagram acceptable?
	 *
	 *	1.	Length at least the size of an ip header
	 *	2.	Version of 4
	 *	3.	Checksums correctly. [Speed optimisation for later, skip loopback checksums]
	 *	4.	Doesn't have a bogus length
	 */

	if (iph->ihl < 5 || iph->version != 4) // 如果IP首部4位首部长度小于5(IP首部不包含选项至少有5*4个字节数据)，那么4位首部长度错误，跳转到inhdr_error；如果IP首部4位版本不是4(不是IPv4)，那么跳转到inhdr_error
		goto inhdr_error;

	BUILD_BUG_ON(IPSTATS_MIB_ECT1PKTS != IPSTATS_MIB_NOECTPKTS + INET_ECN_ECT_1);
	BUILD_BUG_ON(IPSTATS_MIB_ECT0PKTS != IPSTATS_MIB_NOECTPKTS + INET_ECN_ECT_0);
	BUILD_BUG_ON(IPSTATS_MIB_CEPKTS != IPSTATS_MIB_NOECTPKTS + INET_ECN_CE);
	IP_ADD_STATS_BH(net,
			IPSTATS_MIB_NOECTPKTS + (iph->tos & INET_ECN_MASK),
			max_t(unsigned short, 1, skb_shinfo(skb)->gso_segs));

	if (!pskb_may_pull(skb, iph->ihl*4)) // 报文长度检查(IP首部长度(包含选项))
		goto inhdr_error; // 报文长度不够IP首部长度(包含选项)或者其他错误，跳转到inhdr_error

	iph = ip_hdr(skb); // 获取IP首部地址

	if (unlikely(ip_fast_csum((u8 *)iph, iph->ihl))) // 16位首部检验和校验(包含选项)
		goto csum_error; // 16位首部检验和校验失败，跳转到csum_error

	len = ntohs(iph->tot_len); // 16位总长度(字节数)
	if (skb->len < len)  // 报文总长度小于16位总长度
		IP_INC_STATS_BH(net, IPSTATS_MIB_INTRUNCATEDPKTS);
		goto drop; // 跳转到drop，丢弃报文
	 else if (len < (iph->ihl*4)) // 报文长度检查(IP首部长度(包含选项))
		goto inhdr_error; // 报文长度不够IP首部长度(包含选项)或者其他错误，跳转到inhdr_error

	/* Our transport medium may have padded the buffer out. Now we know it
	 * is IP we can trim to the true length of the frame.
	 * Note this now means skb->len holds ntohs(iph->tot_len).
	 */
	if (pskb_trim_rcsum(skb, len))  // 删除SKB尾部的数据(len之后的数据)
		IP_INC_STATS_BH(net, IPSTATS_MIB_INDISCARDS);
		goto drop;
	

	skb->transport_header = skb->network_header + iph->ihl*4; // 获取传输层首部

	/* Remove any debris in the socket control block */
	memset(IPCB(skb), 0, sizeof(struct inet_skb_parm));

	/* Must drop socket now because of tproxy. */
	skb_orphan(skb);

	return NF_HOOK(NFPROTO_IPV4, NF_INET_PRE_ROUTING,
		       net, NULL, skb, dev, NULL,
		       ip_rcv_finish); // 调用ip_rcv_finish

csum_error:
	IP_INC_STATS_BH(net, IPSTATS_MIB_CSUMERRORS);
inhdr_error:
	IP_INC_STATS_BH(net, IPSTATS_MIB_INHDRERRORS);
drop:
	kfree_skb(skb);
out:
	return NET_RX_DROP;

4.3、输入路由查找(ip_rcv_finish)

物理层只管物理地址不管IP地址，IP报文校验完整之后还得调用ip_route_input_noref查找输入路由，看看是否有输入路由(发往本地或者转发)，如果没有输入路由则丢弃报文，否则调用dst_input根据路由处理报文(发往本地或者转发)。

ip_rcv_finish函数实现代码如下:

static int ip_rcv_finish(struct net *net, struct sock *sk, struct sk_buff *skb)

	const struct iphdr *iph = ip_hdr(skb);
	struct rtable *rt;

	if (sysctl_ip_early_demux &&
	    !skb_dst(skb) &&
	    !skb->sk &&
	    !ip_is_fragment(iph)) 
		const struct net_protocol *ipprot;
		int protocol = iph->protocol;

		ipprot = rcu_dereference(inet_protos[protocol]);
		if (ipprot && ipprot->early_demux) 
			ipprot->early_demux(skb);
			/* must reload iph, skb->head might have changed */
			iph = ip_hdr(skb);
		
	

	/*
	 *	Initialise the virtual path cache for the packet. It describes
	 *	how the packet travels inside Linux networking.
	 */
	if (!skb_valid_dst(skb))  // 没有输入路由缓存
		int err = ip_route_input_noref(skb, iph->daddr, iph->saddr,
					       iph->tos, skb->dev); // 查找输入路由
		if (unlikely(err))  // 没有输入路由
			if (err == -EXDEV)
				NET_INC_STATS_BH(net, LINUX_MIB_IPRPFILTER);
			goto drop; // 跳转到drop，丢弃报文
		
	

#ifdef CONFIG_IP_ROUTE_CLASSID
	if (unlikely(skb_dst(skb)->tclassid)) 
		struct ip_rt_acct *st = this_cpu_ptr(ip_rt_acct);
		u32 idx = skb_dst(skb)->tclassid;
		st[idx&0xFF].o_packets++;
		st[idx&0xFF].o_bytes += skb->len;
		st[(idx>>16)&0xFF].i_packets++;
		st[(idx>>16)&0xFF].i_bytes += skb->len;
	
#endif

	if (iph->ihl > 5 && ip_rcv_options(skb)) // 4位首部长度大于5(包含选项)，处理选项
		goto drop; // 选项处理失败，跳转到drop，丢弃报文

	rt = skb_rtable(skb);
	if (rt->rt_type == RTN_MULTICAST) 
		IP_UPD_PO_STATS_BH(net, IPSTATS_MIB_INMCAST, skb->len);
	 else if (rt->rt_type == RTN_BROADCAST)
		IP_UPD_PO_STATS_BH(net, IPSTATS_MIB_INBCAST, skb->len);

	return dst_input(skb); // 调用dst_input处理输入报文

drop:
	kfree_skb(skb);
	return NET_RX_DROP;

ip_local_deliver调用栈:

4.4、报文发送到传输层(ip_local_deliver_finish)

对于发送本地的报文，调用ip_local_deliver、ip_local_deliver_finish，ip_local_deliver_finish根据IP首部的8位协议找到传输层对应协议的输入处理函数，调用传输层的处理函数处理传输层报文，对于IPv4的TCP协议就是tcp_v4_rcv。

ip_local_deliver_finish函数代码实现如下:

static int ip_local_deliver_finish(struct net *net, struct sock *sk, struct sk_buff *skb)

	__skb_pull(skb, skb_network_header_len(skb));

	rcu_read_lock();
	
		int protocol = ip_hdr(skb)->protocol; // 8位协议(IPPROTO_TCP/IPPROTO_UDP/IPPROTO_RAW...)
		const struct net_protocol *ipprot;
		int raw;

	resubmit:
		raw = raw_local_deliver(skb, protocol);

		ipprot = rcu_dereference(inet_protos[protocol]); // 获取传输层的net_protocol(tcp_protocol/udp_protocol...)
		if (ipprot) 
			int ret;

			if (!ipprot->no_policy) 
				if (!xfrm4_policy_check(NULL, XFRM_POLICY_IN, skb)) 
					kfree_skb(skb);
					goto out;
				
				nf_reset(skb);
			
			ret = ipprot->handler(skb); // 调用传输层的处理函数(tcp_v4_rcv/udp_rcv...)
			if (ret < 0) 
				protocol = -ret;
				goto resubmit;
			
			IP_INC_STATS_BH(net, IPSTATS_MIB_INDELIVERS);
		 else 
			if (!raw) 
				if (xfrm4_policy_check(NULL, XFRM_POLICY_IN, skb)) 
					IP_INC_STATS_BH(net, IPSTATS_MIB_INUNKNOWNPROTOS);
					icmp_send(skb, ICMP_DEST_UNREACH,
						  ICMP_PROT_UNREACH, 0);
				
				kfree_skb(skb);
			 else 
				IP_INC_STATS_BH(net, IPSTATS_MIB_INDELIVERS);
				consume_skb(skb);
			
		
	
 out:
	rcu_read_unlock();

	return 0;

ip_local_deliver_finish调用栈:

linux网络协议栈源码分析-网络层ip网际协议(代码片段)

1、IP报文1.1、IP报文格式更详细的介绍参考《TCP/IP详解卷1：协议》第3章IP：网际协议。1.2、IP首部结构体structiphdr#ifdefined(__LITTLE_ENDIAN_BITFIELD) __u8 ihl:4, version:4;#elifdefined(__BIG_ENDIAN_BITFIELD) __u8 version:4, ihl:4;#else... 查看详情

linux网络协议栈源码分析-链路层arp地址解析协议(代码片段)

1、ARP报文格式 1.1、ARP报文格式ARP报文的格式如下:(具体各字段的含义参考《TCP/IP详解卷1：协议》第4章ARP：地址解析协议)1.2、内核定义op定义如下:#define ARPOP_REQUEST 1 /*ARPrequest */#define ARPOP_REPLY 2 /*ARPreply */协议类型定... 查看详情

网络协议栈源码分析

此网络协议栈源码分析是基于linux1.2.13版本的内核源码进行分析的；在分析此代码的过程中，同时深入阅读了linux网络驱动和TCP-IP详解，先理解整体的网络概念和内核网络模块代码齐头并进，梳理出了如下的代码调... 查看详情

linux网络协议栈源码分析-传输层(tcp连接的终止)(代码片段)

1、连接终止过程(四处挥手)1.1、四次挥手《TCP/IP详解卷1：协议》“图18-4连接终止期间报文段的正常交换”如下: 1.2、tcp状态变迁图2、close系统调用(第一次挥手) 客户端端调用close，发送FIN报文。2.1... 查看详情

linux网络协议栈源码分析-传输层(tcp连接的终止)(代码片段)

linux网络协议栈源码分析-传输层(tcp连接的建立)(代码片段)

1、bind系统调用1.1、地址端口及状态检查(inet_bind) 通过路由表查找绑定地址的路由类型，对于非本地IP检查是否允许绑定非本地IP地址；检查公认端口绑定权限，是否允许绑定0~1024端口；检查socket是否已经绑定... 查看详情

linux网络协议栈源码分析-传输层(tcp连接的建立)(代码片段)

linux网络协议栈源码分析-传输层(tcp的输出)(代码片段)

1、TCPwrite系统调用(tcp_sendmsg)1.1、write系统调用 socket的write系统调用栈: write最终调用tcp_sendmsg发送消息。1.2、tcp_sendmsg报文分段 tcp_sendmsg主要是对用户的消息按MSS进行分段、添加到发送队列并将用户数... 查看详情

linux网络协议栈源码分析-传输层(tcp的输出)(代码片段)

tcp/ip协议

...netProtocol，传输控制协议/网际协议）是指能够在多个不同网络间实现信息传输的协议簇。TCP/IP协议不仅仅指的是TCP和IP两个协议，而是指一个由FTP、SMTP、TCP、UDP、IP等协议构成的协议簇，只是因为在TCP/IP协议中TCP协议和IP协议最... 查看详情

tcp/ip协议栈概述及各层包头分析

一、摘要　　对之前几篇博文涉及到的网络通信协议进行分析，概述出TCP/IP的协议栈模型，最后根据实例对各层包头进行分析。二、标准TCP/IP协议栈模型　　标准TCP/IP协议是用于计算机通信的一组协议，通常被称为TCP/IP协议... 查看详情

linux网络协议栈源码分析-传输层(tcp连接的建立)(代码片段)

tcp/ip协议分为哪几层

...在运输层中，TCP和UDP也同样起到了中流砥柱的作用。3、网络层：网络层在TCP/IP协议中的位于第三层。在TCP/IP协议中网络层可以进行网络连接的建立和终止以及IP地址的寻找等功能。 4、网络接口层：在TCP/IP协议中，网络接口... 查看详情

计算机网络——————网络层

网络层重要内容1.虚拟互连网络的概念。2IP地址与物理地址的关系。3.传统的分类的IP地址和无分类域的路由选择CIDR4.路由选择协议的工作原理。目录1.两种服务2.IP协议的组成3.子网和构造超网4.网际控制报文协议ICMP5.互联网的路... 查看详情

网络知识网络结构中-tcp/ip四层模型介绍

...一个四层的体系结构。它包含应用层、运输层、网际层和网络接口层（用网际层这个名字是强调这一层是为了解决不同网络的互连问题），不过从实质来讲，TCP/IP只有最上面的三层，因为最下面的网络接口层基本上和一般的通信... 查看详情

tcp/ip参考模型分文基层？各层功能如何？各层的主要协议都有哪些？

TCP/IP参考模型共分为4层，分别是：网络访问层、网际互联层、传输层（主机到主机）、和应用层。各层的功能如下：1.应用层：应用层对应于OSI参考模型的高层，为用户提供所需要的各种服务。2.传输层：传输层对应于OSI参考模... 查看详情

tcp/ip是一种（）网络操作系统还是网络体系结构

TCP/IP是一种网络体系结构。TCP/IP协议（传输控制协议/互联网协议）不是简单的一个协议，而是一组特别的协议，包括：TCP，IP，UDP，ARP等，这些被称为子协议。在这些协议中，最重要、最著名的就是TCP和IP。因此，大部分网络管... 查看详情

linux内核源码分析之网络协议栈架构

Linux内核源码分析之网络协议栈架构专注于服务器后台开发，包括C/C++，Linux，内核，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2 查看详情