JavaRush/Помощь по Java задачам/Прошу помочь разобраться

39 уровень

06.05.2020
710просмотров
13комментариев

Прошу помочь разобраться

Вопрос по задаче

Архивный

В комментариях не нашёл, поэтому не знаю, в чём может заключаться потенциально опасная или запрещённая операция по системе безопасности JavaRush. Кроме того, хочу разобраться и прошу объяснить:

protected Document getDocument(String searchString, int page) throws IOException {
    searchString = String.format(URL_FORMAT, searchString, page);
    Document document = Jsoup.connect(searchString).userAgent("Mozilla/5.0").referrer("https://grc.ua/search/vacancy?text=java+%D0%BA%D0%B8%D0%B5%D0%B2").get();
    return document;
}

1. В коде указан коннект к странице "http://hh.ua/search/vacancy?text=java+Киев&page=0"

В дебаггере видно, что именно это значение имеет переменная "searchString". На следующем шаге в переменной document по-идее должна содержаться полученная страница.

В браузере эта страница отображает вакансии по Киеву:

Но в программе почему-то совершенно другое содержимое. И, соответственно, код возвращает вакансии по совершенно другому региону.

Почему запись

Document document = Jsoup.connect(searchString).userAgent("Mozilla/5.0").referrer("https://grc.ua/search/vacancy?text=java+%D0%BA%D0%B8%D0%B5%D0%B2").get();

при переменной

searchString = http://hh.ua/search/vacancy?text=java+Киев&page=0

возвращает совершенно иное содержимое? 2. Не могу понять назначение

.referrer("https://grc.ua/search/vacancy?text=java+%D0%BA%D0%B8%D0%B5%D0%B2")

На предыдущем шаге в задаче было: "Добавь в коннекшен к урлу Хедхантера userAgent и referrer". Это, якобы "Чтобы Хэдхантер знал, кто к нему коннектится". На что влияет такая информативность запроса? "userAgent" - могу предположить, - если в разных браузерах страница может по-разному отображаться, то указание в запросе своего браузера поможет запросить версию страницы для нужного браузера. Но ведь о кроссбраузерности своих сайтов заботятся разработчики этих сайтов, информация о браузере итак видна на той стороне и главное - парсеру какая разница, для хрома или для оперы вернётся вариант веб-страницы. Не могу правильно предположить необходимость в этом случае в запросе указывать браузер. Второй непонятный для меня параметр запроса - .referrer("https://grc.ua/search/vacancy?text=java+%D0%BA%D0%B8%D0%B5%D0%B2"). Значение нужно было взять из "Request Headers(Заголовки запроса)" в инструментах разработчика. Могу предположить, что это - откуда (с какого сайта) пришёл посетитель, но тоже не складывается - почему отображалось именно это значение? откуда оно взялось? И вообще, для чего оно нужно в запросе? UPD по 2-му (не главному) вопросу.

Правильно ли я понимаю, что наличие в запросе "referrer("https://grc.ua/search/vacancy?text=java+%D0%BA%D0%B8%D0%B5%D0%B2")" сообщает той стороне (стороне на сервер), в данном случае ложную информацию об источнике запроса? Я запрашиваю страницу со своего IP-адреса, а пытаюсь это выдать за запрос с другого сайта?

Запусти снова программу в дебаг моде.
Скопируй полученное значение document.html() в созданный ранее html файл.
Отформатируй его и найди теги с вакансиями.

Почитай в Сообществе дополнительный материал к лекции про селекторы атрибута.

ВНИМАНИЕ: ОСОБЕННОСТИ ТЕСТИРОВАНИЯ!
HTML код странички ХэдХантера может меняться, чтобы эта задача продолжила работать стабильно не меняя тесты воспользуйся закешированной версией https://javarush.com/testdata/big28data.html
Это только для этого пункта, в следующих заданиях используй реальные страницы.

1. В классе HHStrategy создай protected метод Document getDocument(String searchString, int page) throws IOException.

2. Реализуй следующую логику метода getVacancies в классе HHStrategy:
2.1. Подключись к закешированной страничке ХэдХантера используя метод getDocument, нумерация начинается с 0.
2.2. Получи список элементов с атрибутом по имени "data-qa" и значением "vacancy-serp__vacancy". Должно быть до 20 вакансий на странице.
2.3. Если данные в списке из п.2.2 есть, то для каждого элемента:
2.3.1. создать вакансию и заполнить все ее данные, получив данные из текущего элемента.
Если тег с зарплатой присутствует, то заполнить и поле salary, иначе инициализировать поле пустой строкой.
site и url нужно взять из атрибута со значением "vacancy-serp__vacancy-title".
2.4. Выполнить п.2.1-2.3 для следующей страницы ХэдХантера.
2.5. Если закончились страницы с вакансиями, то выйти из цикла.

Исключения игнорировать.
Все вакансии добавить в общий список и вернуть в качестве результата метода.

Подсказка по зарплате:
Поиграйся с URL_FORMAT, добавь туда еще один параметр, чтобы получить вакансии с зарплатами.
Проанализируй полученный html и найди тег для зарплаты.
Не забудь потом вернуть значение URL_FORMAT обратно.

Требования:

В классе HHStrategy создай protected метод getDocument(String searchString, int page). Перенеси туда логику по получению объекта html-страницы Document.
Метод getVacancies класса HHStrategy должен получать содержимое страниц с помощью метода getDocument. Начни с 0 страницы.
Из объекта Document получи список html-элементов с атрибутом по имени "data-qa" и значением "vacancy-serp__vacancy". Для каждого элемента создай объект вакансии и добавь его в возвращающий методом список.
Нужно последовательно обработать все страницы результатов поиска. Как только страницы с вакансиями закончатся, прерви цикл и верни список найденных вакансий.
У каждой вакансии должно быть заполнено поле title полученными из html-элемента данными о названии вакансии.
У каждой вакансии должно быть заполнено поле url полученной из html-элемента ссылкой на вакансию.
У каждой вакансии должно быть заполнено поле city полученными из html-элемента данными о городе.
У каждой вакансии должно быть заполнено поле companyName полученными из html-элемента данными о компании.
У каждой вакансии должно быть заполнено поле siteName значением сайта, на котором вакансия была найдена.
Поле salary у вакансии должно быть заполнено, если в html-элементе присутствовал тег с зарплатой. Иначе поле должно быть инициализировано пустой строкой.
Если ты менял значение поля URL_FORMAT, не забудь вернуть его обратно.

package com.javarush.task.task28.task2810; import com.javarush.task.task28.task2810.model.HHStrategy; import com.javarush.task.task28.task2810.model.Provider; import com.javarush.task.task28.task2810.model.Strategy; public class Aggregator { public static void main(String[] args) { Strategy strategy = new HHStrategy(); Provider provider = new Provider(strategy); Controller controller = new Controller(provider); controller.scan(); } }

Комментарии (13)

популярные
новые
старые

Для того, чтобы оставить комментарий Вы должны авторизоваться

Ksenia Volkova Java Developer в DXC

Master

6 мая 2020, 13:14

Soros

Уровень 39

6 мая 2020, 13:37

Я как раз об этом и спрашиваю. Фактически страница открывается с моего IP, но с помощью "referer" указывается другой (ложный) источник. При этом во внимание принимается именно указанное в referer значение и тайной остаётся то, что фактический источник запроса - не тот, который был указан в "referer", а другой IP? Но важнее сейчас - почему запрос возвращает страницу с другим содержимым?

Ksenia Volkova Java Developer в DXC

Master

6 мая 2020, 13:40

Да нет же! Допустим, я набираю в гугле: "java вакансии", мне выводит результаты поиска и по одной из ссылок я перехожу на hh. Я это делаю со своего ip, и он никуда не прячется. Просто в http заголовке будет информация о том, что я перешла со страницы результатов гугла. По первому вопросу - из твоих скринов на самом деле непонятно, тот документ ты получаешь или не тот.

Soros

Уровень 39

6 мая 2020, 18:46

Полученный код HTML Не знаю, каким ещё способом можно подтвердить несоответствие полученного HTML кода и реальной странички по get-запросу "Document document = Jsoup.connect(searchString).userAgent("Mozilla/5.0").referrer("https://grc.ua/search/vacancy?text=java+%D0%BA%D0%B8%D0%B5%D0%B2").get();" Полученные такой записью данные сохранил на гугл-диске - ссылка в самом верху. Скрины: IDEA debug:

браузер, адрес https://grc.ua/search/vacancy?text=java+%D0%9A%D0%B8%D0%B5%D0%B2&page=0

Отображение полученного кода в браузере.

Страница по гет-запросу https://grc.ua/search/vacancy?text=java+%D0%9A%D0%B8%D0%B5%D0%B2&page=0 отображает вакансии в Киеве. Код, полученный записью "Document document = Jsoup.connect(searchString).userAgent("Mozilla/5.0").referrer("https://grc.ua/search/vacancy?text=java+%D0%BA%D0%B8%D0%B5%D0%B2").get();" содержит совершенно другие результаты. В чём может быть поблема?

Ksenia Volkova Java Developer в DXC

Master

6 мая 2020, 18:58

У тебя java-файлы в какой кодировке?

Soros

Уровень 39

7 мая 2020, 05:12

Я тоже предположил, что проблема с кодировкой, поскольку очевидно, что из запроса не сервере не видно указанный город - Киев. В очередной раз сталкиваюсь с проблемой кодировки (если в этот раз тоже проблема в кодировке), не знаю как избавиться от этой проблемы раз и навсегда. Кодировка windows-1251

Soros

Уровень 39

7 мая 2020, 05:54

Заменил "Киев" на "Kyiv". Теперь возвращается результат с вакансиями по Киеву - т.е. проблема-таки в том, что на сервере кириллица не видна корректно. Несмотря на то, что в IDEA установлены нужные настройки. Или настройки в IDEA должны быть другими? И по-прежнему, при отправке задачи на проверку, ответ: "Исключение системы безопасности JavaRush. Вы выполняете потенциально опасную или запрещенную операцию." Что за операция такая потенциально опасная или запрещённая?

Ksenia Volkova Java Developer в DXC

Master

7 мая 2020, 06:50

Кодировку поставь utf-8 Что касается остального - разберись с методом getVacancies(). Мало того, что он коннектится к разным страницам - сначала к тестовой, потом к настоящей), так ещё зачем-то к настоящей ты обращаешься в непрерывном цикле

Soros

Уровень 39

7 мая 2020, 12:47

Где именно установить кодировку utf-8?

Soros

Уровень 39

7 мая 2020, 12:56

По методу getVacancies: Коннект к разным страницам из-за условия задачи: сначала к тестовой, потом к настоящей. По бесконечному циклу: В 55-й строке есть условие выхода из цикла:

if(elementsWithVacancies.size() != 0) {
    for (Element element : elementsWithVacancies) {
        Vacancy vacancy = getNextVacancy(element.getAllElements());
        vacancy.setSiteName(siteName);
        vacancyList.add(vacancy);
    }
} else {
    continued = false;
}

Если вакансий на странице нет - выход из цикла. Цикл не бесконечный.

Ksenia Volkova Java Developer в DXC

Master

7 мая 2020, 13:06

Кодировку utf-8 поставь везде. Там где у тебя таблица с path и encoding, удали все строчки с win-1251, чтобы везде была глобальная настройка utf-8. Или для конкретных файлов - если у тебя открыт код, там снизу справа есть кодировка. Там тоже можно поменять.

Soros

Уровень 39

7 мая 2020, 13:27

Установил кодировку везде utf-8, но в этом случае вообще никаких вакансий не возвращает. Заодно и демонстрация выхода из цикла:

Ksenia Volkova Java Developer в DXC

Master

7 мая 2020, 14:13

Надо было конвертировать файл в новую кодировку. Перепиши строку, где "Киев" (в контроллере), заново. Вообще, лучше везде использовать юникод, а то каша получается.