全网显示 IP 归属地,用上这个开源库,实现也太简单了!

0
回复
117
查看
[复制链接]

微信扫一扫 分享朋友圈

5

主题

10

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2023-1-9 09:44:46 | 显示全部楼层 |阅读模式
曾几何时,初期的互联网大受追捧,在虚拟的世界里,可以跨越时空自由交流,是许多人梦寐以求的乌托邦。
而随着中文互联网的普及,在人人都能上网的今天,网络环境已经变得乌烟瘴气,撕逼、造谣、网络暴力等乱象屡见不鲜,肆意宣泄的恶意,让许多人受到伤害。
虚拟的身份,自由的交流,放大了人性中的恶,当上网成为日常,网络环境的治理也越来越有必要。

01

多平台将强制显示IP属地

人多的地方,往往鱼龙混杂。以往,为了约束用户的言论,一些平台会设置违禁词,触发之后不予显示,有的会在审核时禁止发布,还会设置投诉举报、防骚扰、拉黑等功能,但这些措施都无法起到很好的效果。
新浪微博此前因为水军、撕逼、网暴、谣言、软色情等乱象,饱受网民诟病,更因此被约谈罚款,多次做出整改。近日,新浪微博再次针对发布不实言论的个体,推出了开放归属IP的新规定,得到了不少人的支持,这一举动,或将从账号根源上,减少平台上的不当言论。





从微博管理员发布的消息来看,微博将在用户个人的资料页,展示该用户近期的发帖所在地,之所以推出这项举措,最直接的原因,是俄乌战争期间个别用户冒充当地网友,在平台上发布传播不实信息。
这项措施推出之后,其他人可以看到发帖用户的IP属地,会直接令冒充者暴露在公众视野,大众可以迅速分辨其言论是否属实,也能给其他言论不当者增加一些忌惮。
微博开了一个好头。近日,又有一批互联网平台推出了相同的功能。
抖音、快手、小红书、今日头条、知乎等,相继上线了“网络用户IP地址显示”这一功能,在境外可以显示国家,在境内则可以显示到省市,而且用户无法关闭,也就是说,IP地址为强制显示项目。



微信公众平台即将展示用户 IP 属地,境内账号展示到省(自治区、直辖市),境外账户展示到国家(地区),账号 IP 属地以运营商提供的信息为准,用户暂时无法主动开启或关闭相关展示。



目前,多平台将强制显示IP属地,其目的都是为了打击网络造谣、扰乱舆论等恶势力群体。
有了这一功能,在这些平台上发布言论,就有了一重约束。显示位置,多了一分真实,这是一种提醒,也是威慑——任何人在网络上都应该谨言慎行,做好自己。
下面,我就来讲讲,Java 中是如何获取 IP 属地的,主要分为以下几步

  • 通过 HttpServletRequest 对象,获取用户的 IP 地址
  • 通过 IP 地址,获取对应的省份、城市
首先需要写一个 IP 获取的工具类,因为每一次用户的 Request 请求,都会携带上请求的 IP 地址放到请求头中。
public class IpUtil {
    public static String getIpAddr(ServerHttpRequest request) {
        HttpHeaders headers = request.getHeaders();
        String ipAddress = headers.getFirst("X-Forwarded-For");
        if (ipAddress == null || ipAddress.length() == 0 || "unknown".equalsIgnoreCase(ipAddress)) {
            ipAddress = headers.getFirst("Proxy-Client-IP");
        }
        if (ipAddress == null || ipAddress.length() == 0 || "unknown".equalsIgnoreCase(ipAddress)) {
            ipAddress = headers.getFirst("WL-Proxy-Client-IP");
        }
        if (ipAddress == null || ipAddress.length() == 0 || "unknown".equalsIgnoreCase(ipAddress)) {
            ipAddress = request.getRemoteAddress().getAddress().getHostAddress();
            if (ipAddress.equals("127.0.0.1") || ipAddress.equals("0:0:0:0:0:0:0:1")) {
                // 根据网卡取本机配置的IP
                try {
                    InetAddress inet = InetAddress.getLocalHost();
                    ipAddress = inet.getHostAddress();
                } catch (UnknownHostException e) {
                    log.error("根据网卡获取本机配置的IP异常", e);
                }

            }
        }

        // 对于通过多个代理的情况,第一个IP为客户端真实IP,多个IP按照','分割
        if (ipAddress != null && ipAddress.indexOf(",") > 0) {
            ipAddress = ipAddress.split(",")[0];
        }

        return ipAddress;
    }
}
这里有三个名词,分别是

  • X-Forwarded-For一个 HTTP 扩展头部,主要是为了让 Web 服务器获取访问用户的真实 IP 地址。每个 IP 地址,每个值通过逗号+空格分开,最左边是最原始客户端的 IP 地址,中间如果有多层代理,每⼀层代理会将连接它的客户端 IP 追加在 X-Forwarded-For 右边。
  • X-Real-IP:一般只记录真实发出请求的客户端IP
  • Proxy-Client-IP:这个一般是经过 Apache http 服务器的请求才会有,用 Apache http 做代理时一般会加上 Proxy-Client-IP 请求头
  • WL-Proxy-Client-IP:也是通过 Apache http 服务器,在 weblogic 插件加上的头。
在我们获取到用户的 IP 地址后,那么就可以获取对应的 ip 信息了
最开始使用的是淘宝 IP
地址:https://ip.taobao.com/


淘宝IP地址库
接入方式也比较简单,就是通过封装一个 http 请求,传入用户的 ip 作为参数,就可以返回 ip 对应的国家,省,城市 信息


API接口
原来的请求方式如下
    /**
     * 获取IP地址来源
     *
     * @param content        请求的参数 格式为:name=xxx&pwd=xxx
     * @param encodingString 服务器端请求编码。如GBK,UTF-8等
     * @return
     * @throws UnsupportedEncodingException
     */
    public static String getAddresses(String content, String encodingString) {
        String ip = content.substring(3);
        if (!Util.isIpAddress(ip)) {
            log.info("IP地址为空");
            return null;
        }
        // 淘宝IP宕机,目前使用Ip2region:https://github.com/lionsoul2014/ip2region
        String cityInfo = getCityInfo(ip);
        log.info("返回的IP信息:{}", cityInfo);

        // TODO 淘宝接口目前已经宕机,因此暂时注释下面代码
        try {
            // 这里调用pconline的接口
            String urlStr = "http://ip.taobao.com/service/getIpInfo.php";
            // 从http://whois.pconline.com.cn取得IP所在的省市区信息
            String returnStr = getResult(urlStr, content, encodingString);
            if (returnStr != null) {
                // 处理返回的省市区信息
                log.info("调用IP解析接口返回的内容:" + returnStr);
                String[] temp = returnStr.split(",");
                //无效IP,局域网测试
                if (temp.length < 3) {
                    return "0";
                }
                // 国家
                String country = "";
                // 区域
                String area = "";
                // 省
                String region = "";
                // 市
                String city = "";
                // 县
                String county = "";
                // 运营商
                String isp = "";
                Map<String, Object> map = JsonUtils.jsonToMap(returnStr);

                if (map.get("code") != null) {
                    Map<String, String> data = (Map<String, String>) map.get("data");
                    country = data.get("country");
                    area = data.get("area");
                    region = data.get("region");
                    city = data.get("city");
                    county = data.get("area");
                    isp = data.get("isp");
                }

                log.info("获取IP地址对应的地址" + country + "=" + area + "=" + region + "=" + city + "=" + county + "=" + isp);
                StringBuffer result = new StringBuffer();
                result.append(country);
                result.append("|");
                result.append(region);
                result.append("|");
                result.append(city);
                result.append("|");
                result.append(isp);
                return result.toString();
            }
        } catch (Exception e) {
            log.error(e.getMessage());
            return null;
        }
        return null;
    }
但是,之前接入淘宝 IP 库的时候,也经常会遇到服务不可用的情况,并且由于限制了 QPS1,所以如果访问量大的话,就没办法获取了。
而到现在的话倒好了,这个接口也不对外提供服务了,直接下线了,不让调用了。


后面,在 Github 冲浪的时候,发现了 Ip2region 项目。
一个准确率 99.9% 的离线 IP 地址定位库,0.0x 毫秒级查询,ip2region.db 数据库只有数 MB,提供了 java,php,c,python,nodejs,golang,c# 等查询绑定和BinaryB树内存三种查询算法。


ip2region
数据聚合了一些知名 ip 到地名查询提供商的数据,这些是他们官方的的准确率,经测试,着实比经典的纯真 IP 定位准确一些。ip2region 的数据聚合自以下服务商的开放 API 或者数据。

  • 80%, 淘宝IP地址库, http://ip.taobao.com/
  • ≈10%, GeoIP, https://geoip.com/
  • ≈2%, 纯真IP库, http://www.cz88.net/
备注:如果上述开放API或者数据都不给开放数据时ip2region将停止数据的更新服务。
每条 ip 数据段都固定了格式:
_城市Id|国家|区域|省份|城市|ISP_
只有中国的数据精确到了城市,其他国家有部分数据只能定位到国家,后前的选项全部是 0,已经包含了全部你能查到的大大小小的国家
生成的数据库文件 ip2region.db 只有几 MB,最小的版本只有 1.5MB,随着数据的详细度增加数据库的大小也慢慢增大,目前还没超过 8MB
内置的三种查询算法

全部的查询客户端单次查询都在 0.x 毫秒级别,内置了三种查询算法

  • memory 算法:整个数据库全部载入内存,单次查询都在0.1x毫秒内,C语言的客户端单次查询在0.00x毫秒级别。
  • binary 算法:基于二分查找,基于ip2region.db文件,不需要载入内存,单次查询在0.x毫秒级别。
  • b-tree 算法:基于btree算法,基于ip2region.db文件,不需要载入内存,单词查询在0.x毫秒级别,比binary算法更快。
ip2region安装

下面,就让我们给项目引入 ip2region,进行 ip 信息转换吧
首先引入 maven 依赖
<dependency>
    <groupId>org.lionsoul</groupId>
    <artifactId>ip2region</artifactId>
    <version>1.7.2</version>
</dependency>
然后编写一个工具类 IpUtils ,首先需要加载 ip2region.db 文件
static {
    dbPath = createFtlFileByFtlArray() + "ip2region.db";
    try {
        config = new DbConfig();
    } catch (DbMakerConfigException e) {
        e.printStackTrace();
    }
    try {
        searcher = new DbSearcher(config, dbPath);
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    }
}
在加载的时候,需要下载仓库中的 ip2region.db 文件,然后放到 resource 目录下


ip文件
然后,通过内置的三种算法,分别转换用户 ip 地址
    public static String getCityInfo(String ip) {

        if (StringUtils.isEmpty(dbPath)) {
            log.error("Error: Invalid ip2region.db file");
            return null;
        }
        if(config == null || searcher == null){
            log.error("Error: DbSearcher or DbConfig is null");
            return null;
        }

        //查询算法
        //B-tree, B树搜索(更快)
        int algorithm = DbSearcher.BTREE_ALGORITHM;

        //Binary,使用二分搜索
        //DbSearcher.BINARY_ALGORITHM

        //Memory,加载内存(最快)
        //DbSearcher.MEMORY_ALGORITYM
        try {
            // 使用静态代码块,减少文件读取操作
//            DbConfig config = new DbConfig();
//            DbSearcher searcher = new DbSearcher(config, dbPath);

            //define the method
            Method method = null;
            switch (algorithm) {
                case DbSearcher.BTREE_ALGORITHM:
                    method = searcher.getClass().getMethod("btreeSearch", String.class);
                    break;
                case DbSearcher.BINARY_ALGORITHM:
                    method = searcher.getClass().getMethod("binarySearch", String.class);
                    break;
                case DbSearcher.MEMORY_ALGORITYM:
                    method = searcher.getClass().getMethod("memorySearch", String.class);
                    break;
                default:
            }

            DataBlock dataBlock = null;
            if (Util.isIpAddress(ip) == false) {
                System.out.println("Error: Invalid ip address");
            }

            dataBlock = (DataBlock) method.invoke(searcher, ip);
            String ipInfo = dataBlock.getRegion();
            if (!StringUtils.isEmpty(ipInfo)) {
                ipInfo = ipInfo.replace("|0", "");
                ipInfo = ipInfo.replace("0|", "");
            }
            return ipInfo;

        } catch (Exception e) {
            e.printStackTrace();
        }

        return null;
    }
下面,我们编写 main 函数进行测试,发现可以正常的解析出 ip 信息


ip信息获取测试
由于 ip 属地在国内的话,只会展示省份,而国外的话,只会展示国家。所以我们还需要对这个方法进行一下封装,得到获取 IP 属地的信息。
/**
* 获取IP属地
* @param ip
* @return
*/
public static String getIpPossession(String ip) {
    String cityInfo = getCityInfo(ip);
    if (!StringUtils.isEmpty(cityInfo)) {
        cityInfo = cityInfo.replace("|", " ");
        String[] cityList = cityInfo.split(" ");
        if (cityList.length > 0) {
            // 国内的显示到具体的省
            if ("中国".equals(cityList[0])) {
                if (cityList.length > 1) {
                    return cityList[1];
                }
            }
            // 国外显示到国家
            return cityList[0];
        }
    }
    return "未知";
}
下面,我们在找一个 国外的 IP 测试一下效果。可以看到已经能够正常的显示 IP 属地信息了~


ip属地信息获取测试
到这里如果获取用户的 IP 属地已经完成啦,如果想要了解关于更多 ip2region 的功能,欢迎访问其 Github 地址进行学习。

— THE END —

【免责声明】图文来自网络,版权归原作者所有。如侵权请联系删除;我们对文中观点保持中立,仅供参考、交流之目的。
推荐阅读

  • 16 个优秀的 Vue 开源项目
  • Java性能基准测试:从OpenJDK 8到OpenJDK 19
  • SpringBoot实现主流办公文档在线预览
  • 面向程序员的精品开源字体
  • 被捧上天的Scrum敏捷管理为何不受大厂欢迎了?
  • 可以替换CentOS的8种选择
  • Grafana 9正式发布
  • VS Code配置Python环境
  • Sa-Token,一个开源、轻量级 java 权限认证框架,让鉴权变得简单、优雅!
  • 搞了几年,基于QUIC的HTTP/3终于官宣了,编号RFC 9114
微信8.0将好友放开到了一万,宝宝们可以加我大号了,先到先得。

扫描下方二维码即可加我微信啦,2022,抱团取暖,一起牛逼。

产品+技术统称为大技术。分享优秀产品,传播产品思维;专注技术分享,包含JS、CSS、 HTML5、Vue、React、Augula、View UI(iView)、Element UI、Flutter、Electron和JAVA、JVM、SpringBoot、Dubbo、Spring Cloud/Alibaba、Docker、Docker Compose、K8S等实用技术与框架。



请我
分享、
赞、在看
本文来自公众号:大技术
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表