巧用按键精灵 实现大数据直采

版次:04 来源:中国信息报    2021年10月28日

  按键精灵操作界面

  按键精灵录制界面

  使用按键精灵开展票价采价时选择出发地和目的地界面

  使用按键精灵开展票价采价时,通过Js脚本勾选出发地和目的地界面。

  ■ 赵美

  利用按键精灵实现网页大数据直采,技术操作简便,应用范围广,可以应用于居民消费价格、工业生产者价格等统计调查专业,是一种便捷的数据收集方法。在实践应用中,灵活使用按键精灵有三个技巧。

  ——通过URL中的参数控制抓取内容。数据的展示网页通常根据数据的逻辑结构设置网页参数组织数据展示。如某航空网站广州到厦门1月30日机票订票网址,其中问号后面跟随的“c1=CAN&c2=XMN&d1=2021-01-30”就是网页参数,CAN代表广州是起始地参数,XMN代表厦门是目的地参数,d1的值控制订票日期。通过改变参数的值,就可以抓取所需的不同内容。特别当网页数据量规模较大,使用分页页码参数将数据分布在不同页面时,修改页码参数可以避免只能访问首页展示的第一页数据的问题。

  ——与Excel结合使用。Excel具备结构化存储、函数化表达、便捷友好的数据展示编辑功能等优点,能够实现非常多的数据处理功能;同时,Excel VBA具有非常强大的办公自动化功能。因此,结合使用按键精灵和Excel可以更灵活地实现更加丰富的数据自动化处理。如,使用Excel保存按键精灵的输入参数和输出数据。利用Excel数据表,可以实现输入参数和输出数据的结构化存储,使数据结构一目了然,便于程序实现行列式调用。再如,使用Excel函数进行输入输出数据处理。在抓取机票的案例中,Excel参数单元格中引入TODAY()函数,可以实现以当天为基准时间的机票信息抓取。使用按键精灵时经常需要引入随机数,可以通过读取RAND()函数单元格的值来实现。Excel丰富的函数系统大大减轻了按键精灵编程中访问函数的工作复杂度。

  ——与浏览器前端开发工具结合使用。使用按键精灵抓取网页数据元素的时候,经常遇到需要与网页互动,提交数据选择条件,才能获得数据的情况。例如,某机票预订网站无法通过修改参数确定出发地和目的地,只能通过网页勾选框选定出发地和目的地。当遇到需要和网页互动访问数据的时候,可以使用浏览器前端开发平台加载JavaScript脚本的方式来实现数据的获取。JavaScript脚本是网页页面常用的开发工具,具有丰富的网页互动功能。打开浏览器浏览网页,按下F12键进入浏览器前端开发平台,选中“控制台(Console)”,在控制台界面,使用按键精灵输入编写好的JavaScript脚本与网页互动,就可以便捷地实现互动数据的访问。按键精灵调用JavaScript脚本能够实现丰富的浏览器网页互动操作,大大增强了按键精灵处理网页信息的能力,也避免了按键精灵仿真网页互动时,不同网页上网页元素位移产生的定位不准确问题。

作者:赵美
此报纸需要付费才能观看
激活报卡 购买报纸
激活成功后,该报卡号将与您的账号绑定,将不能取消或者修改
已激活成功