0
голосов
3ответов
4252 просмотров

Очистка скрытого HTML (когда visible = false) с использованием Hpricot (Ruby on Rails)

Я столкнулся с проблемой, которую, к сожалению, не могу превзойти. Я еще только новичок в Ruby on rails, к сожалению, отсюда и количество вопросов Я пытаюсь очистить веб-страницу, например следующую: http://www.yellowpages.com.mt/Malta/Grocers-Mini-Markets-Retail-In-Malta-Gozo.aspx Я х...

0
голосов
5ответов
2617 просмотров

Скрейпинг экрана в PHP с логином

В поисках решения этой проблемы я нашел разные методы.Некоторые используют регулярное выражение, некоторые - сценарии DOM или что-то в этом роде. Я хочу перейти на сайт, войти в систему, заполнить форму, а затем проверить, отправлена ли форма.Частично ведение журнала - это та часть, о которой...

0
голосов
1ответов
151 просмотров

очистка формы с ssl-сайта и использование ее самостоятельно

Если я сканирую форму с сайта, защищенного с помощью SSL, и помещаю эту форму на свой сайт (который также защищен SSL), получаю ли я все преимущества SSL?

0
голосов
2ответов
1475 просмотров

Скрейпинг HTML / скриптов Google Map с использованием Hpricot (Ruby On Rails)

У меня возникла проблема со сканированием кода, который требуется для извлечения информации для создаваемого мной веб-мэшапа. В основном я пытаюсь выбросить код из: http://yellowpages.com.mt/Meranti-Ltd-In-Malta-Gozo;/Hair-Accessories;Hijjhkikke=Hiojhhfokje.aspx Это только одна из стра...

0
голосов
1ответов
2214 просмотров

Очистка HTML с помощью Hpricot (с использованием Ruby on Rails)

Я прочитал большое количество руководств, чтобы помочь, и проблема в Hpricot, которую я обнаружил, заключается в том, чтобы, так сказать, не очищать весь Html. Я уточню: Веб-сайт, с которого я пытаюсь удалить html, - http://yellowpages.com.mt/Malta-Search/Radio-In-Malta-Gozo.aspx. Мне нужн...

5
голосов
7ответов
1723 просмотров

Как лучше всего написать удобное в обслуживании приложение для очистки веб-страниц?

Некоторое время назад я написал Perl-скрипт, который входил в мой онлайн-банкинг и ежедневно отправлял мне по электронной почте мой баланс и мини-выписку.Я нашел его очень полезным для отслеживания моих финансов.Единственная проблема в том, что я написал его, используя только perl и curl, и это ...

3
голосов
2ответов
3011 просмотров

Как получить каталог файлов с удаленного сервера?

Если у меня есть каталог на удаленном веб-сервере, который позволяет просматривать каталог, как мне получить все эти файлы, перечисленные в нем, с другого моего веб-сервера?Я знаю, что могу использовать urllib2.urlopen для получения отдельных файлов, но как мне получить список всех файлов в этом...

0
голосов
2ответов
4195 просмотров

Селен: не могу понять xPath

У меня есть такой HTML: <h4 class="box_header clearfix"> <span> <a rel="dialog" href="http://www.google.com/?q=word">Search</a> </span> <small> <span> <a rel="dialog" href="http://www.google.com/?q=word">Search</a> </span> </h4&gt...

2
голосов
4ответов
2137 просмотров

BeautifulSoup опускает тело страницы

BeautifulSoup newbe ... Нужна помощь Вот пример кода ... from mechanize import Browser from BeautifulSoup import BeautifulSoup mec = Browser() #url1 = "http://www.wines.com/catalog/index.php?cPath=21" url2 = "http://www.wines.com/catalog/product_info.php?products_id=4866" page = mec.open(...

0
голосов
2ответов
463 просмотров

Очистка изображения относительного пути

Мне нужна помощь с очисткой экрана сайта ( http://website.com ). Допустим, я пытаюсь получить изображение внутри <div id="imageHolder"> Но когда я опускаю его, его путь является относительным, например «image_large / imageName.jpg» (я собираюсь снимать это изображение ежедневно, посколь...

4
голосов
1ответов
1574 просмотров

Как сделать снимок части экрана с помощью Ruby в Windows?

Вместо использования стороннего приложения я хотел бы написать приложение на Ruby, которое при вызове будет захватывать весь экран и сохранять его в c: \ screenshot \ snap000001.png Графический пакет уже есть, но как вы можете захватить область во весь экран, чтобы сохранить ее? Эта програ...

1
голосов
2ответов
882 просмотров

Как обнаружить ссылки mailto с помощью Hpricot / Nokogiri

Я хочу сопоставить ссылки типа <a href="mailto:[email protected]">foo</a>, но этот не работает работает только в Nokogiri: doc/'a[href ^="mailto:"]' Как правильно это сделать? Как мне это сделать с Hpricot?

2
голосов
4ответов
427 просмотров

Java Framework - использование очистки экрана для объединения разнородных серверных сред

Хорошо. Итак, у меня есть CMS, написанная на Java, которая удовлетворяет потребности нескольких сотен клиентов. Но периодически клиенту потребуется специализированное приложение: например, приложение базы данных регистрации классов. Допустим, я не хочу писать это или я слишком занят. Поэтому ...

0
голосов
3ответов
451 просмотров

Как сделать снимок экрана веб-приложения, чтобы прикрепить его к электронному письму в случае ошибки?

Я работаю над веб-приложением, и мы хотели бы сделать снимок экрана (текущий экран приложения или весь экран) и прикрепить его к электронному письму, которое автоматически создается для сообщений об ошибках.Я видел несколько сообщений о том, как это сделать в приложении winform, но ничего особен...

8
голосов
3ответов
4922 просмотров

Библиотека парсинга для PHP - phpQuery?

Я ищу библиотеку PHP, которая позволяет мне удалять веб-страницы и заботиться обо всех файлах cookie и предварительно заполнять формы значениями по умолчанию, что меня больше всего раздражает. Я устал от необходимости сопоставлять каждый элемент ввода с xpath, и мне бы хотелось, чтобы существ...

28
голосов
2ответов
36613 просмотров

Как записать экран и сохранить как gif анимацию?

Есть такое программное обеспечение?

1
голосов
1ответов
712 просмотров

Как очистить веб-страницы, которые имеют другой формат / макет?

Мне нужно очистить отчеты по форме 10-K (т.е. годовые отчеты американских компаний) с веб-сайта SEC для проекта. Проблема в том, что компании не используют один и тот же формат для хранения этих данных.Так, например, данные о недвижимости для 2 разных компаний могут отображаться, как показано...

0
голосов
1ответов
323 просмотров

Получить тип элемента в Hpricot

Я хочу пройти по дочерним элементам элемента и отфильтровать только те, которые являются текстовыми или span, что-то вроде: element.children.select {|child| child.class == String || child.element_type == 'span' } но я не могу найти способ проверить, к какому типу относится определенный ...

5
голосов
7ответов
5297 просмотров

Очистка и разбор страницы в Википедии

Мне интересно, существуют ли какие-либо библиотеки в Objective-C или доступные из них, которые позволили бы мне очищать страницы, отформатированные как этот . В частности, все даты и весь текст рядом с каждой датой. Если нет, то как лучше всего это сделать? Регулярные выражения? Я слышал, что N...

1
голосов
2ответов
284 просмотров

DownloadData () создает HTML, отличный от браузера.

Я пытаюсь загрузить исходный HTML-код веб-сайта с помощью метода WebClient.DownloadData(). Мой метод должен дать мне источник: public string GetSite(string URL) { Uri Site = new Uri(URL); byte[] lol = Client.DownloadData(Site); SiteSource = Encoding.ASCII.GetStr...

1
голосов
3ответов
135 просмотров

Я новичок в Perl и у меня есть несколько вопросов о регулярных выражениях

Я сам учусь Perl, и лучше всего учусь на примере. Таким образом, я изучаю простой Perl-скрипт, который очищает конкретный блог, и обнаружил, что сбился с пути по поводу пары операторов регулярных выражений. Скрипт ищет следующие фрагменты HTML: <dt><a name="2004-10-25"><strong...

0
голосов
1ответов
250 просмотров

Using Rake To Scrape ASP.NET Page

Is it possible, and if so how, do I use RAKE to scrape an ASP.Net Application (very simple, just 2 login forms) - Basically a spider bot/web crawler. I only ask since I've heard this mentioned before and wonder what method I would use to go about doing it? Help greatly appreciated.

0
голосов
2ответов
904 просмотров

Would this Asynchronous download work? WebClient.DownloadDataAsyn() problem

I have this class called SiteAsyncDownload.cs Here's the code: public class SiteAsyncDownloader { WebClient Client = new WebClient(); string SiteSource = null; /// <summary> /// Download asynchronously the source code of any site in string format. /// </summary>...

0
голосов
6ответов
903 просмотров

extract value from web page

Hi I have a website's home page that I am reading in using Curl and I need to grab the number of pages that the site has. The information is in a div:- <div class="pager"> <span class="page-numbers current">1</span> <a href="/users?page=2" title="go to page 2"><span c...

-2
голосов
1ответов
697 просмотров

.NET, scrape dynamic (Java App?) webpage for information?

I am attempting to get some information from a website, the info that I need is located on the missouri.edu site (so it's publicly available). Here is the process that I need to accomplish: - Navigate to https://webapps.missouri.edu/ODDSearchEngine/oddsearch - search for a department name like "b...

1
голосов
4ответов
337 просмотров

Looking for OO gurus, need some help in the design of my programming logic. Nothing fancy, just new to it

I'll post my entire class and maybe someone with MUCH more experience can help me design something better. I'm really new to doing things Asynchronously, so I'm really lost here. Hopefully my design isn't TOO bad. :P IMDB Class: public class IMDB { WebClient WebClientX = new WebClient(); ...

18
голосов
6ответов
46079 просмотров

How to use the WebClient.DownloadDataAsync() method in this context?

My plan is to have a user write down a movie title in my program and my program will pull the appropiate information asynchronously so the UI doesn't freeze up. Here's the code: public class IMDB { WebClient WebClientX = new WebClient(); byte[] Buffer = null; publi...

0
голосов
1ответов
340 просмотров

How to scrape the contents of an axd resource?

Essentially I have an img tag with a src attribute of /ChartImg.axd?i=chart_0_0.png&g=06469eea67ea452b977f8e73cad70691. Do I need to create another WebRequest to get the content of this resource or is there a simpler way? I am scraping the output of the current request. Below is what I've g...

3
голосов
3ответов
2982 просмотров

How to capture screenshot of specified website?

I want to know technique to capture screenshot if I have a url list of those sites like google fastflip. What technology or techniques require for this kind of task. If this technique available in rails it would be great. Thanks

1
голосов
4ответов
4311 просмотров

PHP Screen Scraping and Sessions

Ok still new to the screen scraping thing. I've managed to log into the site I need but now how do I redirect to another page? After I login I'm trying to do another GET request on the page that I need but it has a redirect on it that takes me back to the login page. So I'm thinking the SESSIO...