Как (ил) легально получить данные из 100% доступного, но не «открытого» API

Я нашел веб-сайт, который предоставляет огромную фильтруемую таблицу с актуальными данными о городах в стране. Этот сайт использует метод бесконечной прокрутки для загрузки строк таблицы.

Изучив сайт с помощью инструментов разработчика Chrome, я обнаружил, что он запрашивает AJAX-запрос на некоторый внутренний URL-адрес для получения данных. Этот URL-адрес содержит множество параметров запроса, соответствующих фильтрам.

Я попытался получить доступ к этому URL прямо в моем браузере, и я получаю все данные в хорошем формате JSON. Я могу даже поиграть с фильтрами, чтобы получить конкретные данные, которые мне нужны. Этот URL-адрес фактически доступен, поэтому мне не нужно ничего делать hacky , я просто вызываю URL-адрес, который есть в сети.

Итак, мой вопрос: насколько законным или незаконным я могу использовать этот URL для извлечения данных в моих собственных целях?

Примечание : я не хочу создавать список городов того же типа , но я хочу использовать эти данные, чтобы создать небольшую онлайн-игру, чтобы заработать маленькие деньги ...


ВАЖНО Примечания о некоторых ответах и ​​комментариях

Это всего лишь примерный сценарий, я не ищу места для захвата данных о городах. Рассмотрите веб-сайт с данными об обновленной производительности футболистов в сезон, если хотите.

Что касается конкретной страны, опять же, я не думаю о каком-то конкретном законодательстве, если вы знаете страну, где четко (и) законна, это будет полезной информацией.

35 голосов | спросил MikO 11 ThuEurope/Moscow2014-12-11T19:03:03+03:00Europe/Moscow12bEurope/MoscowThu, 11 Dec 2014 19:03:03 +0300 2014, 19:03:03

7 ответов


25

Позвольте мне быть ясным. Есть одна вещь, которую я знаю достаточно хорошо, это закон об авторском праве. Я не юрист, однако знание авторского права было постоянным требованием моей консультации в течение 30 лет. В качестве дополнительного бонуса я консультировался в основном с телекомами и часто работал с данными о подписчиках и анализом данных и представлением данных для продажи и повторного использования. Я, по крайней мере, уникально квалифицирован, чтобы ответить на этот вопрос на этом форуме.

Я объясню это как можно лучше, например: определение проприетарных стихов обычными средствами; два, определяющие исключение упомянутого случая и другие связанные с ним соображения авторского права; и три, ясно из ответа.

Позвольте мне уточнить некоторые авторские права. Пример телефонной книги является неправильным. Когда вы получаете телефон, вы заключили частное договорное соглашение как частный гражданин с частной компанией, и полученная в результате информация, обнародованная или нет, является частной собственностью, и поэтому содержимое телефонной книги является собственностью (обратите внимание на это слово) просто потому, что он не может быть получен вообще любыми другими способами, кроме как через источники данных компании - данные абонента. Если данные могут быть получены обычными способами, такими как ходьба и запись номеров домов и названий улиц, тогда это общедоступные данные и понятные для использования. Это не означает, что номера телефонов не могут быть получены обычными способами. Это может быть.

Прояснить далее. Чтобы процитировать: http://www.lib.umich.edu/copyright/facts-and-data

  

Ни в коем случае защита авторских прав на оригинальную работу   авторство распространяется на любую идею, процедуру, процесс, систему, метод   операции, концепции, принципа или открытия, независимо от формы в   который он описан, пояснен, проиллюстрирован или воплощен в таких   работа.

Этот параграф вводит в заблуждение. Это исключение, описанное в этом параграфе, распространяется на патентные и другие законы. Авторское право распространяется только на создание работы.

:

  

«потеря божественной доктрины»

... относится к любой деятельности, например, к дому и к сбору данных вручную. Это определение обычных средств. Можно постучать в двери и запросить одинаковые телефонные данные. Только в той мере, в какой вы можете собрать факты обычными средствами, это данные или часть публичных данных.

Обычный способ использования телефонных данных состоит в следующем: один, получить исходные данные с помощью законных средств; и два, применять доктрину добросовестного использования. Это повлечет за собой получение копии телефонной книги непосредственно из компании, которая может быть бесплатной или за плату, и организации фактов по-другому, чтобы создать новую работу. Вы пытались получить телефонную книгу в Сиэтле, когда находитесь в Чикаго? Вы обнаружите, что телефонная компания, скорее всего, взимает с вас неожиданную плату. Однако, если вы являетесь абонентом телефонной связи в Сиэтле, и вы просите телефонную книгу в Сиэтле, плата будет намного меньше или даже бесплатной. Мне приходилось делать это много раз. Есть люди, у которых есть работа, чтобы просто получить телефонные книги от телекомов лично и уплатить пошлину, если потребуется.

В приведенной выше ссылке (в этом ответе) говорится, что постановление, приведенное в случае Публикации по фактам v. Сельский телефон , зависит от двух фактов: один из них заключается в том, что данные сельского кооперативного оператора как местной монополии должен был быть обнародован по оперативному соглашению; и два, что представление произведения было защищено авторским правом, а не фактами, содержащимися в связи с фактом № 1. Поэтому только в узких параметрах этот случай можно рассматривать как прецедентный случай и должен быть отброшен. Как правило, данные подписчика частной компании не требуются по соглашению, которое должно быть предано гласности. Вы должны помнить, что сельские кооперативы создаются как общественные трасты /организации для общественного блага и принадлежат общественным и /или кооперативным членам и поэтому действуют в соответствии с юридическими ограничениями, которые позволяют ему утвердиться для работы или существования. Каждый случай отличается. Присвоение приведенного выше примера (на связанной странице) в качестве аргумента без объяснения исключений вырезания вводит в заблуждение.

В первые дни существования компании Bell Telephone компания требовалась как монополия на публикацию телефонных данных, если только она не была ограничена подписчиком. Когда компания Bell была разделена на ребенка Bells, Bell Atlantic, Bell South и т. Д., Эти компании по-прежнему требовались как монополии, чтобы публиковать данные по телефону, как это было определено ранее. Но с дерегулированием и действительно с VoIP, сотовой и другими вариантами монополии редки. Только в монопольных сценариях можно привести приведенный выше аргумент.

Продолжая ссылаться на ссылку выше (в этом ответе):

  

Только потому, что данные не защищены авторским правом, это не значит, что   не являются другими юридическими соображениями, которые могут вступить в игру, когда вы   желаниедля использования чужого набора данных.

Помните об этом.

Любой данный набор данных и его презентация, независимо от происхождения данных, являются работой для себя. Публичное представление фактов, независимо от средств, является работой для себя.

Учитывая, что вы не получаете данные обычными средствами, даже несмотря на то, что данные становятся общедоступными и независимо от исходного происхождения данных, они не могут свободно использоваться, как вы описали, и вы можете быть привлечены к уголовной ответственности и удерживаться гражданская ответственность за возможное нарушение авторских прав, а также за преступное преступление и незаконное использование компьютерного и другого оборудования связи, которое обычно не разрешено и может подпадать под действие уставов RICO.

Можно ли использовать его? Нет! Точно нет! Он не был получен обычными средствами, и, скорее всего, это не означает, что оператор веб-сайта должен предоставлять собственные данные. Любое отсутствие AUP (приемлемая политика использования) не поможет вам. В соответствии с законом существуют предположения относительно «разумного человека», «разумного стандарта» и «разумного предположения», который защищает владельца веб-сайта в этом случае. Не разумно, чтобы умный человек использовал «уязвимость в дизайне /создании» веб-сайта для получения данных для другого использования. Кроме того, если сайт получает прибыль от своих действий, вступает в действие дальнейшая защита.

ответил closetnoc 11 ThuEurope/Moscow2014-12-11T22:00:04+03:00Europe/Moscow12bEurope/MoscowThu, 11 Dec 2014 22:00:04 +0300 2014, 22:00:04
6

Одна вещь, которая не кажется очень ясной в других ответах здесь ...

Является ли это «законным» или нет, в первую очередь, зависит от страны. Если мы говорим о Соединенных Штатах, например, то использование самих данных не является незаконным. Однако я бы посоветовал вам использовать данные real из переписи населения США. Они предлагают тонны данных через то, что они называют продуктами TIGER. Этот набор данных - это тот же набор данных, который используют специалисты ГИС для заполнения карт Bing, карт Google и т. Д.

Однако, хотя данные могут быть свободно доступны, это не обязательно означает, что данные из этого открытого API доступны на законных основаниях. Вы говорите, что это в форме JSON, которая предполагает, что он был «массирован» из своего первоначального формата в этот формат - и этот пользовательский формат может попасть под интеллектуальную собственность. То, что , я считаю, было бы незаконным использовать, если у вас нет лицензии на его использование. Как и другие здесь, я не юрист, но компании даже не нужно указывать пальцем на вас и называть вас хакером. Собственные данные являются собственными данными, даже если они раздаются непреднамеренно. Вам следует связаться с компанией и сообщить им, что все эти данные доступны для внешнего мира и попросят разрешения на ее использование. Не делая этого, и, поставив этот вопрос на обмен стека в качестве доказательства, было бы легко построить дело против вас. Вы, по сути, сказали: «Это не выглядит законным, но мне все равно нравится, и я хочу заработать на этом деньги». Опять же, я не юрист, но это не похоже на отличный способ начать судебное разбирательство.

Дело в том, что, если вас интересуют названия городов и другие географические данные, почти все они доступны свободно, независимо от страны. В последнее время я знал, что США публикуют большинство данных, но есть данные для практически каждой страны. Я не решаюсь говорить все только потому, что я программист и доказываю, что заявление «для всех» сложно ... если вы выберете произвольную страну, шансы лучше, чем хорошие, что данные там. Если у вас есть конкретная страна, перейдите в GIS Stack Exchange . Главное, что вы ищете, называются «шейп-файлами», поэтому задайте вопрос «Где я могу получить шейп-файлы для __________?»? Также есть OpenStreetMap , который представляет собой карту с открытым исходным кодом. Я не уверен, насколько легко получить их данные шейп-файла, но если вы можете получить их от них (и я не понимаю, почему вы не сможете, вы можете запускать автономные карты на основе локального хранящаяся информация), то у вас есть все данные, которые вам нужны, и вы находитесь на законных основаниях. Вам придется тратить время на массирование огромных объемов данных до того, что вы хотите, но шейп-файлы всегда очень хорошо определены и легко разбираются.

ответил Shaz 12 FriEurope/Moscow2014-12-12T01:04:28+03:00Europe/Moscow12bEurope/MoscowFri, 12 Dec 2014 01:04:28 +0300 2014, 01:04:28
5

В то время как closetnoc обсудил вопрос о самих данных, существует большая юридическая проблема: у вас нет доступа к API, предлагающему данные.

Базой для большинства законов о компьютерной преступности является понятие «несанкционированный доступ к компьютерной системе». Вы не должны путать эту ссылку с авторизацией в юридическом смысле с понятием авторизации, когда дело касается контроля доступа. Владелец системы not должен защитить свою систему от доступа к ней, чтобы быть незаконным, так же, как вы все еще нарушаете права входа в дом с разблокированной дверью.

В этом случае очевидное отсутствие безопасности не подразумевает разрешения на его использование. Концепция интернета имеет прецедент до сих пор в случае закона, но вы можете себе представить, что использование протокола HTTP 80 подразумевает публичное разрешение на просмотр веб-сайта. Напротив, фоновые RPC-протоколы (даже если они могут запускаться по HTTP-запросам) обычно не рассматриваются как общедоступные, если оператор не публикует такую ​​услугу как таковой, предоставляя разрешение для использования третьим лицам.

Поэтому постоянное использование API для извлечения данных было бы незаконным. Акт принятия дампа данных из API для создания собственного набора данных также будет незаконным. Является ли использование данных после того, как это незаконно, является гигантской серой областью, но closetnoc охватил большинство проблем.

Конечно, если вы измените дамп данных после того, как факт будет неузнаваем, будет почти невозможно доказать, что вы совершили преступление. Но если вы столкнулись с такой проблемой, почему бы не исправить данные из легального источника?

ответил Lilienthal 12 FriEurope/Moscow2014-12-12T13:55:57+03:00Europe/Moscow12bEurope/MoscowFri, 12 Dec 2014 13:55:57 +0300 2014, 13:55:57
4

Вероятно, это зависит от характера данных. Чистые данные (думаю, телефонный справочник) не могут быть защищены авторским правом . Поэтому список городов из API должен быть честной игрой, чтобы копировать и показывать пользователям. Однако, если в этом API есть описания города, эти описания будут относиться к закону об авторском праве, и вы не сможете использовать их без нарушения авторских прав.

Если вы можете законно скопировать данные, я бы рекомендовал скопировать его на свой собственный сайт, чтобы предотвратить преждевременное закрытие вашего API.

ответил Stephen Ostermiller 11 ThuEurope/Moscow2014-12-11T19:18:35+03:00Europe/Moscow12bEurope/MoscowThu, 11 Dec 2014 19:18:35 +0300 2014, 19:18:35
3

(IANAL, а законы и нормы широко варьируются во всем мире, но некоторые вещи, как правило, остаются непротиворечивыми в силу договоров IP. Если у вас есть профессиональная проблема вне вашей специальности, проконсультируйтесь с профессором.)

Как правило, юридически API не считается «предназначенным для общественного потребления», если только он не документирует как публичный API с указанными условиями обслуживания. Тот факт, что общественность может достичь API, не делает его общедоступным.

В случаях, когда статус самих данных не является явно общедоступным, а в некоторых случаях, когда он явно является общедоступным достоянием, цель организации, предоставляющей API, имеет большое значение по рукам. Если оператор веб-сайта предполагал, что API будет использоваться для подачи динамической веб-страницы или мобильного приложения (для обозначения двух общих примеров), any другое использование является «несанкционированным», если специально не разрешено где-то. Если предполагаемый потребитель был фрагментом динамического кода на определенной веб-странице с целью размещения понятных для человека пикселей на дисплее в определенном (надеюсь) приятном и полезном способе, any другое использование несанкционированное.

Техническая способность входа в здание через открытое окно без открытия или взлома ничего не защитит вас от ареста за преступную преступность ...

Кроме того, почти никогда не бывает разумно играть «технические способности» против игр «оригинального намерения» с адвокатом по интеллектуальной собственности. Если ничего другого, помните, что адвокаты, которые последовательно теряют эти дела, не платят за них.

ответил Robert 13 SatEurope/Moscow2014-12-13T07:24:48+03:00Europe/Moscow12bEurope/MoscowSat, 13 Dec 2014 07:24:48 +0300 2014, 07:24:48
1

То, о чем вы говорите, вполне вероятно. Вы гиперссылки на информацию, а затем ее трансформацию.

  

В Perfect 10, Inc. v. Amazon.com, Inc., [19], девятый цикл снова   рассмотрел вопрос о том, было ли использование эскиза   добросовестное использование. Хотя факты были несколько ближе, чем в Аррибе   Мягкий случай, , суд тем не менее обнаружил использование обвиняемого нарушителя   справедливо, потому что он был «высокообразованным». Суд объяснил:

     

Мы пришли к выводу, что существенный трансформационный характер Google   поисковая система, особенно в свете ее общественной пользы, перевешивает   Вытеснение и коммерческое использование Google миниатюр в этом   дело. â € | Мы также помним о том, что Верховный суд   более преобразуя новую работу, тем меньше будет значение   другие факторы, такие как коммерциализм, которые могут повлиять на вывод   справедливое использование ».

     

Кроме того, суд специально рассмотрел статус   связывая в первом решении апелляционной инстанции США следующее:

     

Google не отображает копию полноразмерных нарушающих фотографические   изображения для целей Закона об авторском праве, когда кадры Google в режиме онлайн   которые отображаются на экране компьютера пользователя. <Сильный> Поскольку   Компьютеры Google не хранят фотографические изображения, Google делает   не имеют копии изображений для целей Закона об авторском праве. В   другими словами, у Google нет никаких «материальных объектов», в которых   работа фиксирована и из которой произведение может восприниматься, воспроизводиться или   в противном случае передается »и, следовательно, не может передавать копию. Вместо   передавая копию изображения, Google предоставляет инструкции HTML   которые направляют браузер пользователя на компьютер издателя веб-сайта, который   хранит полноразмерное фотографическое изображение. Предоставление этих HTML   инструкции не эквивалентны показу копии. Во-первых, HTML   инструкции являются строками текста, а не фотографическим изображением. Во-вторых, HTML   инструкции сами по себе не приводят к появлению   экран компьютера пользователя. В HTML просто указывается адрес   изображение в браузер пользователя. Затем браузер взаимодействует с   компьютер, который хранит нарушающее изображение. Именно это взаимодействие   приводит к тому, что на экране компьютера пользователя появляется нарушающее изображение.   Google может облегчить доступ пользователя к нарушающим изображения. Однако,   такая помощь затрагивает только вопросы, связанные с   представляют собой прямое нарушение статуса владельца авторских прав   прав. â | | | В то время как встраивание в линию и обрамление могут вызвать некоторый компьютер   пользователи считают, что они просматривают одну веб-страницу Google,   Закон об авторском праве, в отличие от Закона о товарных знаках, не защищает авторское право   держатель против действий, которые вызывают потребительскую путаницу.

     

Состояние американского законодательства после Arriba Soft и Perfect 10

     

The Arriba Soft   дело заключалось в том, что глубокая связь и фактическое   воспроизведение в копиях уменьшенного размера (или подготовка уменьшенных размеров   производные работы) были оправданными как справедливое использование, поскольку   использование подсудимым этой работы фактически или потенциально не отвлекало   торговля на рынке с первой работы; а также   общественности с ранее недоступной, очень полезной функцией такого рода   что закон об авторском праве существует для продвижения (поиск желаемой информации о   паутина). В деле «Идеальный 10» были учтены аналогичные соображения, но   было задействовано более сбалансированное распределение интересов. Поведение было оправдано   потому что ценность для общественности в противном случае недоступна, полезная   функция перевешивала влияние на Perfect 10 Google, возможно,   заменяющее использование.

     

Кроме того, в Perfect 10, , суд установил далеко идущий прецедент   в пользу увязки и кадрирования, которые суд дал завершающему пропуску   в соответствии с авторским правом. . Он пришел к выводу, что «встроенные ссылки и обрамление могут   заставляют некоторых пользователей компьютеров полагать, что они просматривают один Google   веб-страницы, [но] Закона об авторском праве. , , не защищает авторские права   держатель против действий, которые вызывают потребительскую путаницу ».

Акцент мой. linky

Вы просто используете гиперссылку, вы не делаете копию, вы не показываете копию, вы не навредите деловым интересам, и вы ее сильно трансформируете. Я бы сказал, что каждый элемент должен быть в порядке. Но, IANAL.

ответил Shane 12 FriEurope/Moscow2014-12-12T19:37:41+03:00Europe/Moscow12bEurope/MoscowFri, 12 Dec 2014 19:37:41 +0300 2014, 19:37:41
-1

Это законно, если вам не нужно вводить пароль, чтобы получить его, но некоторые менее искушенные компании могут требовать от вас взлома и адвоката. Вы должны быть готовы защищаться. Вы будете признаны невиновными, поскольку они публикуют свои данные для общественности, но это может стоить защитить себя. Прокуроры и полицейские отдают корпорации. Это часто происходит в уведомлениях о безопасности, когда кто-то уведомляет компанию о дыре в безопасности, а затем компания будет обвинять их в взломе. Компания также может свободно изменять API без уведомления, возможно, нарушая ваше приложение.

http: //www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

  

Остановите меня, если вы это слышали раньше: энтузиаст технологий слегка переусердствует в проверке дыр в безопасности, обнаруживает значительную уязвимость, передает информацию, а затем обрабатывает юридические и личные угрозы.

ответил Chloe 11 ThuEurope/Moscow2014-12-11T19:35:39+03:00Europe/Moscow12bEurope/MoscowThu, 11 Dec 2014 19:35:39 +0300 2014, 19:35:39

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132