• 首页
  • 狐文
  • 狐图
  • About
狐窝
OvO
  1. 首页
  2. 未分类
  3. 正文

利用 Python + Selenium 自动化快速截图

2017年08月09日 79点热度 0人点赞 0条评论
2016 from---http://codingpy.com/article/take-screenshot-of-web-page-using-selenium/

Selenium 是一个可以让浏览器自动化地执行任务的工具,常用于自动化测试。与bs4等结合使用,也适合爬取动态网页数据。不过没想到,它居然可以用于网页截图,而且由于可编程性,用法更具想象空间。

目前,Selenium 支持 Java、C#、Ruby 以及 Python 四种客户端语言。如果你使用 Python,则只需要在命令行里输入pip install selenium并回车,即可安装 selenium 的 Python 版本客户端支持。

如何截取整个网页窗口

如果想截取整个窗口的话,可以使用 driver.save_screenshot() 。下面以编程派的网站为例,编写一个脚本截取首页的截图:

from selenium import webdriver

browser = webdriver.Firefox()
url = "http://codingpy.com"
browser.set_window_size(1200, 900)
browser.get(url)

browser.save_screenshot("codingpy.png")
browser.close()

我们运行这段代码之后,会当前目录创建名为codingpy.png的图片文件。我们看一下实际效果(我已对图片进行裁剪,只保留了前面一部分)。

我们发现,第二篇文章的配图没有加载出来,是空白的。这是因为我在设计时要求窗口滚动到元素位置时才加载图片。

先执行JS脚本再截图

不过还好 Selenium 支持注入JS脚本。我们先在首页上执行一段 JavaScript 脚本,将页面的滚动条拖到最下方,然后再拖回顶部,最后才截图。这样可以解决像上面那种按需加载图片的情况。

下面是改进后的代码,封装进了一个名为 `take_screenshot 的函数中:

from selenium import webdriver
import time


def take_screenshot(url, save_fn="capture.png"):
    browser = webdriver.Firefox() # Get local session of firefox
    browser.set_window_size(1200, 900)
    browser.get(url) # Load page
    browser.execute_script("""
        (function () {
            var y = 0;
            var step = 100;
            window.scroll(0, 0);

            function f() {
                if (y < document.body.scrollHeight) {
                    y += step;
                    window.scroll(0, y);
                    setTimeout(f, 100);
                } else {
                    window.scroll(0, 0);
                    document.title += "scroll-done";
                }
            }

            setTimeout(f, 1000);
        })();
    """)

    for i in xrange(30):
        if "scroll-done" in browser.title:
            break
        time.sleep(10)

    browser.save_screenshot(save_fn)
    browser.close()


if __name__ == "__main__":

    take_screenshot("http://codingpy.com")

如何截取某个网页元素

有时候我们只想截取某个网页元素的图片呢?比如说会动态变化的验证码。本来 Selenium 也提供了对元素截图的支持,只要在选中的元素上调用其 screenshot() 方法即可。

但是在实际使用时却遇到了 Unrecognized command 这个异常,经过一段时间检索也没有找到解决办法。所以,只能曲线救国,利用 Selenium 执行JS代码,将页面上不需要的元素一一删除,只保留我们希望留下的元素,然后再利用上面的窗口截屏功能。

例如,如果我们只截取编程派网站右侧的二维码,可以执行这样一段JQuery代码:

$('#main').siblings().remove();
$('#related__wrapper').siblings().remove();
$('.ui.sticky').siblings().remove();
$('.follow-me').siblings().remove();
$('img.ui.image').siblings().remove();

代码执行完毕之后,就只剩下二维码的图片了。然后我们再截屏。不过这样有一点不好,就是截屏图片的下方会有大量空白内容。

结语

虽然对元素截图出现了问题,但是 Selenium 的这个截图功能还是非常强大的。如上所示,它可以在页面上注入并执行一段 JavaScript 代码,还可以模拟鼠标点击等行为;而且可以同时运行多个实例,多个线程同时截图。

总的来说,使用 Selenium 进行网页截图是个不错的选择。

参考资料

  • Capture with Selenium
  • Selenium Python Docs
标签: 暂无
最后更新:2017年08月09日

OvO

狐狸

点赞
< 上一篇
下一篇 >
最新 热点 随机
最新 热点 随机
钛备份或小米系统备份功能备份出来的APK无法正常还原 BBR安装启用 安装docker mitmproxy 调试方法 Android SDK 版本选择 Perdition Mail代理服务器配置 HAProxy SSL代理 Openssl 中间人SSL代理 Stunnel SSL to SSL代理 NGINX反代IMAP配置 各种设备User Agent Torrent下载工具推荐 用 rar2john+hashcat 破解 RAR 文件密码 2020最好的Linux发行版 关闭新版chrome工具栏上拼图图标 Office 下载、安装、激活,有它就够了! Android 非官方的发行版 openwrt添加autoconf-archive
Git如何使用代理 udev控制磁盘引导顺序 OpenWRT 恢复出厂设置命令 谷歌开源项目Chromium的源码获取与项目构建(Win7+vs10/vs13) 如何隐藏windows 10 此电脑中多出来的 3D 对象 文件夹 安裝unstable Release Debian方式 Linux服务器防火墙规则iptables修改后无法保存 编译OpenWRT时 #error GNU libiconv not in use but included iconv.h is from libiconv linux下编译安装glibc FreeNAS相关资料 开源 NAS 操作系统不完全汇总 FreeBSD 中文图形化配置 ORA-01034: ORACLE not available ORA-27101 Debian8 更新源配置 Maven:Generating Project in Batch mode 卡住问题 OpenWrt 编译 LuCI -> Applications 添加插件应用说明-L大【2020.8.12】 在命令行里展示的文本二维码 使用 udev 高效、动态地管理 Linux 设备文件
标签聚合
ssl 密码 安装 chromium git linux chrome https 镜像 docker 下载 路由 blog yum 网卡 e

COPYRIGHT © 2020 狐窝. ALL RIGHTS RESERVED.

THEME KRATOS MADE BY VTROIS