IPIP.Net地址库格式分析

IPIP.NET地址库文件格式分析

1. ipip库是什么？

• ipip是一个ip地址库, 官网号称全球唯一一个基于各电信运营商,以及网络服务的BGP/ASN数据而分析处理而得来的IP库

ipip库有哪些特性

• 地理数据标注准确: 国内的地址标注准确度高
• 更新实时: 数据24小时实时更新
• 提供CDN/DNS/VPN专版, 专为CDN、DNS、VPN用户设计(提供ACL格式)

ipip库提供文件格式

• DAT[X]格式数据
• TXT[X]格式数据
• ACL格式数据（CDN专版）

TXTX格式数据分析

1. TXT的文本格式简单清晰, 每行代表一个IP段, 总共有多少个IP段信息就有多少行
2. 每行有15列信息, 每列均为该IP段代表的一个信息, 均已字符串格式表示, 列之间用\t(制表符)进行分割
3. 每列分别表示如下信息:

• 第1列&第2列：IP段所属的起始和终止IP（点分十进制）
• 第3列：所属国家
• 第4列：所属省份
• 第5列：地级市/省直辖县级行政区
• 第6列：IP段所有者
• 第7列：所属运营商
• 第8列：城市/省份/国家中心点维度
• 第9列：城市/省份/国家中心点经度
• 第10列：所在时区代表城市
• 第11列：所在时区
• 第12列：中国行政区划代码（ISO_3166-1）
• 第13列：国际区号（ISO_3166-1）
• 第14列：国家代码（ISO_3166-1）
• 第15列：洲代码 

DATX格式数据分析

1. DATX格式都是16进制字节文件, 乍一眼看上去毫无头绪, 如下所示
   
2. DATX分别有几个信息字段组成

1. ------------------------------------------------
3. |indexLen | flag |index | hole | info |
5. ------------------------------------------------
7. | 4 | 4*256*256 | ips*9 | 262144 | * |
9. ------------------------------------------------

• flag区域是一个索引区域, 由IP的前两个字段组成的索引映射表(256*256大小的uint32数组),Key(下标)表示以该下标作为IP段起始IP前两个字段的IP段, 值(数组值)表示该下标起始的IP段集合的起始位置。
  • 比如: 1.2.3.4/24就存储在下标（1*256 + 2 = 258）arr[258]=?的数组中进行映射, ？表示的是该段在IP段索引字段（index）中出现的序号。
• index区域是一个数组, 每个数组元素表示一个IP段的摘要信息, 摘要信息包含如下几个信息
  • 每个摘要信息总共有9个字节组成, 分别表示如下三个信息
  • IP段结束IP(4bytes), 表示该IP段的结束IP
  • IP段的详细信息的相对偏移地址(3bytes)，从index区域结束的地方开始计算偏移,比如第一个IP段的信息就是 262144+0 = 262144
  • IP段信息的详细信息长度（2bytes）, 确定了ip信息的起始位置和长度，就可以明确该IP段的所有信息
• hole区域是一个空洞区域, 该区域大小为256*256=262144, 不清楚具体是干什么的, 有了解的大神可以留言提供解答么？
• info区域是一个string数组, 数组中每个信息,存储了该IP段的所有坐标信息(TXT格式从第三列开始的信息), 每个信息段都已\t（制表符）进行分割
• indexLen区域, 讲完了其他区域再来讲第一个区域更好理解, indexLen表示了从flag区域开始, 到hole区域结束的字节长度, 统一表示为索引部分的总长度。
• 需要注意的地方
  • indexLen部分为大端字节序写入
  • flag部分的数组使用小端字节序
  • index部分
    • 结束IP使用大端字节序
    • IP段的偏移地址使用小端字节序
    • IP段的信息长度使用大端字节序
  • info部分全部使用大端字节序