от AMR
Когда-то веб-сборка была сложной задачей, требовавшей опыта анализа дерева XML и HTTP-запросов. Но с такими современными библиотеками копирования, как beautifulsoup (для Python) и rvest (для R), веб-скрапинг стал игрушкой для любого новичка.
Эта публикация должна объяснить, насколько просто использовать R, очень хороший язык программирования, для выполнения анализа и визуализации данных. Предыдущая задача очень проста. Создайте веб-скребок, который собирает содержимое одной из самых популярных страниц в Интернете (по крайней мере, среди кодеров): Главная страница новостей хакеров.
Установка и загрузка пакета
Пакет R, который мы собираемся использовать rvest. rvest можно установить из CRAN и скачать в R, как показано ниже:
library(rvest)read_html() функция rvest можно использовать для извлечения HTML-содержимого URL-адреса, заданного в качестве аргумента для функции read_html.
content <- read_html('https://news.ycombinator.com/')для read_html() Чтобы работать без проблем, пожалуйста, убедитесь, что вы не за пределом экрана организации. Если да, настройте свой RStudio с помощью прокси-сервера для обхода брандмауэра, иначе вы можете столкнуться с a connection timed out error.
Ниже приведен снимок экрана макета первой страницы HN (с выделенными ключевыми элементами):
Теперь HTML-содержимое главной страницы Hacker News загружено в объект R содержимоедавайте вытащим данные, которые нам нужны – начиная с заголовка.
Есть один особо важный аспект успешного выполнения любого веб-сбора. Это означает идентифицировать правильный CSS селектор или значение XPath для элементов HTML, значения которых должны быть скопированы. Самый простой способ получить правильное значение элемента – это использовать the inspect tool в инструментах разработчика любого браузера
Вот снимок экрана значения CSS селектора. Он подсвечивается с помощью Chrome Inspect Tool, если навести курсор на название ссылки на главной странице Hacker News.
title <- content %>% html_nodes('a.storylink') %>% html_text()title [1] "Magic Leap One" [2] "Show HN: Terminal – native micro-GUIs for shell scripts and command line apps" [3] "Tokio internals: Understanding Rust's async I/O framework" [4] "Funding Yourself as a Free Software Developer" [5] "US Federal Ban on Making Lethal Viruses Is Lifted" [6] "Pass-Thru Income Deduction" [7] "Orson Welles' first attempt at movie-making" [8] "D’s Newfangled Name Mangling" [9] "Apple Plans Combined iPhone, iPad, and Mac Apps to Create One User Experience" [10] "LiteDB – A .NET NoSQL Document Store in a Single Data File" [11] "Taking a break from Adblock Plus development" [12] "SpaceX’s Falcon Heavy rocket sets up at Cape Canaveral ahead of launch" [13] "This is not a new year’s resolution" [14] "Artists and writers whose works enter the public domain in 2018" [15] "Open Beta of Texpad 1.8, macOS LaTeX editor with integrated real-time typesetting"[16] "The triumph and near-tragedy of the first Moon landing" [17] "Retrotechnology – PC desktop screenshots from 1983-2005" [18] "Google Maps' Moat" [19] "Regex Parser in C Using Continuation Passing" [20] "AT&T giving $1000 bonus to all its employees because of tax reform" [21] "How a PR Agency Stole Our Kickstarter Money" [22] "Google Hangouts now on Firefox without plugins via WebRTC" [23] "Ubuntu 17.10 corrupting BIOS of many Lenovo laptop models" [24] "I Know What You Download on BitTorrent" [25] "Carrie Fisher’s Private Philosophy Coach" [26] "Show HN: Library of API collections for Postman" [27] "Uber is officially a cab firm, says European court" [28] "The end of the Iceweasel Age (2016)" [29] "Google will turn on native ad-blocking in Chrome on February 15" [30] "Bitcoin Cash deals frozen as insider trading is probed"Пакет rvest поддерживает оператор канала %>%. Таким образом, объект R, содержащий содержимое страницы HTML (прочитан с помощью read_html), может передаваться по каналу with html_nodes(), который принимает селектор CSS или XPath в качестве аргумента. Затем он может извлечь соответствующее XML-дерево (или значение узла HTML), текстовое значение которого можно извлечь with html_texфункция t().
Прелесть rvest заключается в том, что он отвлекает всю операцию анализа XML под капотом таких функций, как html_nodes() и html_text(). Таким образом, нам легче достичь нашей цели скрапинга с минимальным количеством кода.
Как и в случае Title, значение селектора CSS других необходимых элементов веб-страницы можно определить с помощью инструмента Chrome Inspect. Их можно передать в качестве аргумента функции html_nodes(), а соответствующие значения можно получить и сохранить в объектах R.
link_domain <- content %>% html_nodes('span.sitestr') %>% html_text()score <- content %>% html_nodes('span.score') %>% html_text()age <- content %>% html_nodes('span.age') %>% html_text()Со страницы удалена вся важная информация. Теперь кадр данных R можно создать с извлеченными элементами, чтобы поместить извлеченные данные в структурированный формат.
df <- data.frame(title = title, link_domain = link_domain, score = score, age = age)Ниже приведен снимок окончательного кадра данных в средстве просмотра RStudio:
Таким образом, всего за 7 строк кода мы успешно создали Hacker News Frontpage Scraper в R.
R — отличный язык для анализа и визуализации данных. Использованный здесь код доступен на моем github.