Что мой ИИ-помощник может делать с Web Researcher MCP?

Он предоставляет такие инструменты, как web_search, scrape_page (читает полные страницы, PDF, DOCX/PPTX, стенограммы YouTube), search_and_scrape, image_search, news_search, academic_search, patent_search, filing_search (SEC EDGAR), legal_search (CourtListener), econ_search (Всемирный банк/FRED), clinical_search (ClinicalTrials.gov), verify_citation, audit_bibliography, archive_source (Wayback "Save Page Now"), sequential_search (многоэтапное исследование с сохранением сессии) и инструменты форматирования/экспорта библиографии.

Как он уменьшает количество плохих источников и ошибок в цитировании?

Он поддерживает "поисковые линзы", которые ограничивают результаты поиска проверенными, доверенными доменами по областям (например, медицинским, юридическим, академическим). Он также включает проверку цитат (verify_citation) и аудит библиографии (audit_bibliography) для выявления неработающих ссылок, непроверяемых элементов или отозванных работ.

Требуется ли для его работы ключ API?

Нет. У него есть запасной вариант DuckDuckGo без настройки, который работает без какого-либо ключа API. Добавление ключа провайдера (например, Google Programmable Search Engine, Brave, Serper, SearchAPI.io, SearXNG, Tavily, Exa) может улучшить качество и разблокировать дополнительные возможности, такие как поиск изображений/новостей, в зависимости от провайдера.

Какие поисковые провайдеры поддерживаются?

Поддерживаемые провайдеры включают DuckDuckGo (без ключа), Google Programmable Search Engine, Brave Search, Serper.dev, SearchAPI.io, SearXNG (самостоятельно размещенный), Tavily, Exa и встроенный поиск Hacker News (HN Algolia). Его также можно настроить с многопровайдерной маршрутизацией для автоматического переключения при сбое.

Как мне установить и подключить его к моему ИИ-приложению?

Распространенные варианты установки включают запуск через uvx (Python/uv), Homebrew (macOS/Linux), скрипты установки одной командой (macOS/Linux/Windows), WinGet/Scoop (Windows), Docker или сборку из исходного кода. Затем вы добавляете его как MCP-сервер в свой клиент (например, Claude Code, Claude Desktop, Cursor), настраивая команду и (опционально) переменные среды для выбранных вами ключей провайдера.

Может ли он читать что-то большее, чем просто веб-фрагменты?

Да. Он предназначен для извлечения и чтения полного содержимого из URL-адресов, включая стандартные веб-страницы, PDF-файлы, документы Word, слайды презентаций и стенограммы YouTube. Для сайтов с большим количеством JavaScript он может использовать настоящий браузер (Chromium) для рендеринга и извлечения содержимого.

А как насчет конфиденциальности — куда уходят мои запросы?

Запросы поступают непосредственно с вашей машины к настроенному вами поисковому провайдеру; проект заявляет, что у него нет размещенных серверов, и он работает локально. Он также описывает меры безопасности, такие как защита от SSRF, очистка контента и (в режиме HTTP/команды) поддержка OAuth 2.1 с ограничением скорости и аудитом журналов.

Web Researcher MCP

WebsiteFreeAI Web Scraper Research Tools

Web Researcher MCP — это локальный, производственный MCP-сервер, который позволяет ИИ-помощникам искать в интернете (опционально с ограничением до доверенных «линз поиска»), читать полные источники (включая страницы, отображаемые JS, PDF и стенограммы YouTube) и возвращать проверяемые цитаты с отказоустойчивостью нескольких провайдеров. [Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt]

Посетить сайт

Прорекламировать этот инструмент

https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt&utm_source=aipure

Обзор
Видео
Альтернативы

Информация о продукте

Обновлено:16/06/2026

Что такое Web Researcher MCP

Web Researcher MCP — это сервер протокола контекста модели (MCP) с открытым исходным кодом, разработанный для предоставления ИИ-помощникам (например, Claude, Cursor и другим MCP-совместимым клиентам) надежных возможностей веб-исследования, основанных на источниках. Он фокусируется на «реальных источниках, которым можно доверять», позволяя вам искать либо весь веб, либо только определенные, отобранные домены, а затем извлекать и анализировать полный контент, а не фрагменты, создавая рабочие ссылки и отформатированные цитаты. Проект поставляется в виде одного бинарного файла Go с несколькими вариантами установки (например, Homebrew, скрипты установки, Docker или Python-совместимый uvx) и может работать в локальном режиме STDIO или как HTTP-сервис для общих/командных настроек. [Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt]

Ключевые особенности Web Researcher MCP

Web Researcher MCP — это производственный сервер MCP, который подключает AI-ассистентов (например, Claude, Cursor, VS Code) к живому, основанному на источниках веб-исследованию. Он может искать в интернете (с дополнительными «поисковыми линзами», которые ограничивают результаты доверенными доменами), читать и извлекать полный контент из URL-адресов (включая страницы с большим количеством JavaScript через автоматизированный браузерный конвейер) и обрабатывать многие рабочие процессы, специфичные для исследований, такие как академический и патентный поиск, поиск новостей, проверка/аудит цитирования и экспорт воспроизводимых исследовательских сессий с указанием происхождения. Он разработан для приоритетного использования проверяемых источников и надежных цитат, поддерживает несколько взаимозаменяемых поставщиков поиска с автоматическим переключением при сбое и работает локально для исследований, ориентированных на конфиденциальность.

Поисковые линзы (маршрутизация по доверенным источникам): Ограничьте поиск заранее определенными списками доменов (встроенными или пользовательскими), чтобы результаты поступали только из источников, которым вы доверяете (например, PubMed, SEC, суды, официальные документы), а не из спама и низкокачественного контента открытого интернета.

Многопользовательский поиск с переключением при сбое: Работает с несколькими поставщиками поиска (например, DuckDuckGo без настройки, Google PSE, Brave, Serper, SearXNG, Tavily, Exa) и может автоматически переключаться при сбое, когда один из поставщиков ограничен по скорости или недоступен.

Извлечение полной страницы (включая сайты, отображаемые JS): Читает полные веб-страницы и документы — не только фрагменты — используя многоуровневый конвейер скрапинга и опциональный рендеринг Chromium для страниц с большим количеством JavaScript; также поддерживает PDF/документы Office и извлечение транскриптов YouTube.

Рабочие процессы цитирования исследовательского уровня: Предоставляет инструменты для проверки цитат, аудита целых библиографий на наличие неработающих ссылок/отзывов/непроверяемых записей и форматирования библиографий (APA/MLA/BibTeX/RIS/CSL-JSON) для последующего академического или профессионального использования.

Глубокие, воспроизводимые исследовательские сессии: Поддерживает последовательные многоэтапные исследования с сохранением и экспортом сессий (markdown/JSON), включая происхождение каждого шага; включает диагностику и ресурсы состояния для инструментов, сессий, поставщиков и ограничений скорости.

Специализированные инструменты вертикального поиска: Включает специально разработанные инструменты для академических статей (DOI, авторы, цитаты), патентов (USPTO/EPO/Lens с резервными вариантами), отчетов SEC (EDGAR), юридических заключений/документов (CourtListener), экономики (Всемирный банк/FRED) и клинических испытаний (ClinicalTrials.gov).

Варианты использования Web Researcher MCP

Академический обзор литературы и НИОКР: Исследователи могут проводить структурированный поиск литературы, собирать источники, подтвержденные DOI, просматривать цитатные связи и экспортировать правильно отформатированные библиографии для статей, грантов или внутренних технических обзоров.

Юридические исследования и поддержка судебных процессов: Юридические фирмы и группы по соблюдению нормативных требований могут искать реальные судебные решения/документы, проверять ссылки на дела и архивировать источники, чтобы гарантировать проверяемость ссылок для подачи документов и предоставления клиентам.

Финансы и комплексная проверка: Аналитики могут извлекать отчеты SEC EDGAR, сопоставлять новости и первичные источники, а также создавать проверяемые исследовательские отчеты со ссылками, по которым клиенты могут переходить и проверять информацию.

Здравоохранение и клиническая аналитика: Медицинские исследователи и группы по разработке политики могут сосредоточить поиск на клинических и биомедицинских источниках, получать полный текст доказательств, где это возможно, и отслеживать регистрации и статусы клинических испытаний (ориентировано на исследования, не является медицинской консультацией).

Конкурентная и рыночная разведка: Команды по продуктам и стратегии могут отслеживать новости, сканировать патенты и синтезировать многоисточниковый конкурентный анализ, сохраняя при этом воспроизводимый бумажный след того, как были сделаны выводы.

Инженерная документация и исследование инцидентов: Разработчики и команды SRE могут использовать линзы, ориентированные на документацию, для поиска официальных ссылок, сбора полных страниц (включая документы с большим количеством JS) и составления обоснованных сводок для устранения неполадок и принятия проектных решений.

Преимущества

Контроль источников через линзы: Вы можете ограничить исследования проверенными доменами, повышая надежность и уменьшая спам/шум SEO.

Комплексный инструментарий для исследований: Объединяет поиск, извлечение полного контента, проверку/аудит цитирования и экспорт сессий с указанием происхождения в одном сервере MCP.

Гибкость и отказоустойчивость поставщиков: Несколько поисковых бэкендов с опциональным автоматическим переключением при сбое; также предлагает резервный вариант DuckDuckGo без настройки.

Локальное выполнение с учетом конфиденциальности: Запросы отправляются с вашего компьютера выбранным вами поставщикам, а не через собственные серверы инструмента.

Недостатки

Лучшие возможности часто требуют ключей API: Более качественный поиск, новости/изображения и некоторые передовые инструменты зависят от настройки сторонних поставщиков и учетных данных.

Более интенсивный скрапинг может потребовать загрузки/запуска Chromium: Рендеринг JavaScript может потребовать большой загрузки браузера (~200 МБ) и может быть медленнее, чем простое извлечение.

Ограничения и изменчивость вышестоящих систем: Ограничения скорости, охват и актуальность зависят от выбранных поставщиков поиска и их бесплатных/платных уровней.

Как использовать Web Researcher MCP

1) Установите Web Researcher MCP (самый быстрый способ: uvx): Установите uv (однократно), затем запустите сервер MCP через uvx. macOS/Linux: - curl -LsSf https://astral.sh/uv/install.sh | sh Затем: - claude mcp add --scope user web-researcher -- uvx web-researcher-mcp Это загружает правильный предварительно скомпилированный бинарный файл для вашей ОС и запускает его (инструментарий Go не требуется). Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

2) Альтернативные установки (выберите одну): macOS (Homebrew): - brew install zoharbabin/tap/web-researcher-mcp - claude mcp add --scope user web-researcher -- web-researcher-mcp macOS/Linux (установщик curl): - curl -fsSL https://raw.githubusercontent.com/zoharbabin/web-researcher-mcp/main/install.sh | sh Windows (установщик PowerShell): - powershell -ExecutionPolicy Bypass -c "irm https://raw.githubusercontent.com/zoharbabin/web-researcher-mcp/main/install.ps1 | iex" Другие варианты: - winget install zoharbabin.web-researcher-mcp - scoop bucket add zoharbabin https://github.com/zoharbabin/scoop-bucket && scoop install web-researcher-mcp - brew install --cask zoharbabin/tap/web-researcher-mcp - go install github.com/zoharbabin/web-researcher-mcp/cmd/web-researcher-mcp@latest - docker run -i --rm -e GOOGLE_CUSTOM_SEARCH_API_KEY=YOUR_KEY -e GOOGLE_CUSTOM_SEARCH_ID=YOUR_CX docker.io/zoharbabin/web-researcher-mcp:latest Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

3) Подключите его к вашему MCP-клиенту (общая конфигурация JSON): Если ваше приложение не является CLI-потоком Claude Code, добавьте запись сервера MCP в конфигурацию вашего клиента. Пример (Google PSE): { "mcpServers": { "web-researcher": { "command": "web-researcher-mcp", "env": { "SEARCH_PROVIDER": "google", "GOOGLE_CUSTOM_SEARCH_API_KEY": "YOUR_GOOGLE_API_KEY", "GOOGLE_CUSTOM_SEARCH_ID": "YOUR_SEARCH_ENGINE_ID" } } } } Пример (Brave): { "mcpServers": { "web-researcher": { "command": "web-researcher-mcp", "env": { "SEARCH_PROVIDER": "brave", "BRAVE_API_KEY": "YOUR_BRAVE_API_KEY" } } } } Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

4) Запуск без конфигурации (резервный вариант DuckDuckGo): Если вы не установите SEARCH_PROVIDER или какие-либо ключи API, Web Researcher MCP все равно будет работать «из коробки», используя DuckDuckGo в качестве встроенного резервного варианта (ключ API не требуется). Это полезно для проверки вашей настройки перед добавлением ключей провайдера. Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

5) (Рекомендуется) Добавьте ключ поставщика поиска для улучшения качества и разблокировки дополнительных функций: Установите SEARCH_PROVIDER и соответствующие ключи. Поддерживаемые провайдеры включают DuckDuckGo (без ключа), Google PSE, Brave, Serper, SearchAPI.io, SearXNG, Tavily, Exa и Hacker News. Пример переменных среды: - SEARCH_PROVIDER=brave - BRAVE_API_KEY=... Или Google PSE: - SEARCH_PROVIDER=google - GOOGLE_CUSTOM_SEARCH_API_KEY=... - GOOGLE_CUSTOM_SEARCH_ID=... Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

6) (Необязательно) Настройте отказоустойчивость нескольких провайдеров: Чтобы избежать простоев/ограничений скорости, настройте несколько провайдеров, чтобы сервер автоматически переключался на резервный. Пример: - SEARCH_ROUTING=brave,google,serper - BRAVE_API_KEY=... - GOOGLE_CUSTOM_SEARCH_API_KEY=... - GOOGLE_CUSTOM_SEARCH_ID=... - SERPER_API_KEY=... Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

7) Используйте «линзы поиска» для ограничения результатов доверенными источниками: Если вам нужна более высокая степень доверия и меньше спама, используйте встроенную линзу (например, медицинскую, юридическую, академическую, новостную), чтобы поиск был ограничен отобранными доменами. Пример запроса к вашему ИИ-клиенту: - «Найдите последние данные об ингибиторах SGLT2, используя клиническую линзу». Вы также можете создавать пользовательские линзы, добавив JSON-файл в папку lenses/ со списком разрешенных доменов. Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

8) Попросите ваш ИИ использовать основные инструменты (общие рабочие процессы): После подключения ваш ИИ может вызывать такие инструменты, как: - web_search: поиск в интернете (опционально с линзами) - scrape_page: полное чтение URL (веб-страницы, PDF, DOCX, PPTX, стенограммы YouTube) - search_and_scrape: поиск, затем автоматическое чтение лучших результатов - news_search / image_search: если поддерживается вашим провайдером - academic_search / patent_search / legal_search / filing_search / econ_search / clinical_search: специализированные базы данных - verify_citation / audit_bibliography / format_bibliography: рабочие процессы цитирования - sequential_search: многоэтапное глубокое исследование Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

9) Используйте управляемые шаблоны запросов для повторяемых исследований: Используйте встроенные шаблоны запросов (если ваш клиент поддерживает выбор запросов) для запуска структурированных рабочих процессов: - comprehensive-research - fact-check - competitive-analysis - literature-review Эти шаблоны направляют многоэтапные исследования, поэтому вам не нужно указывать каждую инструкцию. Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

10) Устранение распространенных проблем (быстрые исправления): Если инструменты выдают ошибки «API key»: установите ключи в блоке env конфигурации вашего MCP-клиента (не только в профилях оболочки). Если страницы возвращаются пустыми: для сайтов с большим количеством JavaScript требуется Chromium; бинарный файл автоматически загружает Chromium при первом использовании (~200 МБ). Вы можете установить CHROME_PATH на существующую установку Chrome. Образ Docker включает Chromium. Если кэш устарел после обновления: удалите каталог кэша (например, ~/Library/Caches/web-researcher-mcp/ на macOS) или установите CACHE_DIR. Если вы столкнулись с ограничениями скорости провайдера (429): смените провайдера или настройте SEARCH_ROUTING для отказоустойчивости. Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

11) (Команды) Запуск в режиме HTTP и подключение клиентов к общему эндпоинту: Для общих/командных настроек запустите сервер как HTTP-сервис и подключите MCP-клиенты к http://localhost:3000/mcp/. Пример: - PORT=3000 OAUTH_ISSUER_URL=https://auth.example.com OAUTH_AUDIENCE=https://api.example.com ./web-researcher-mcp Пример Docker Compose: services: web-researcher: image: zoharbabin/web-researcher-mcp ports: - "3000:3000" environment: PORT: "3000" SEARCH_PROVIDER: brave BRAVE_API_KEY: ${BRAVE_API_KEY} Источник: https://github.com/zoharbabin/web-researcher-mcp?ref=producthunt

Часто задаваемые вопросы о Web Researcher MCP

Web Researcher MCP — это сервер с открытым исходным кодом, использующий протокол контекста модели (MCP), который предоставляет помощникам ИИ возможности веб-исследования (веб-поиск, извлечение полных страниц и специализированные поиски, такие как академические/патентные/юридические), с акцентом на обоснованные ответы и реальные, проверяемые цитаты. Он работает локально на вашей машине, а не как размещенный сервис.

Видео Web Researcher MCP

Последние ИИ-инструменты, похожие на Web Researcher MCP

Jorpex

FreemiumAI Web Scraper Monitor & Log Management

Jorpex — это комплексная платформа уведомлений о тендерах, которая агрегирует и доставляет мгновенные уведомления о тендерах со всей Европы прямо в Slack, помогая бизнесу не упускать возможности.

Leadsmrt

Free TrialAI Web Scraper AI Lead Assistant

Leadsmrt — это инструмент для генерации лидов, который помогает бизнесам собирать, проверять и персонализировать целевые бизнес-лиды из Google Maps с использованием возможностей персонализации на основе ИИ.

Omnial AI

Free TrialAI Data Mining AI Web Scraper

Omnial AI — это платформа для аналитики данных, которая использует ИИ-агентов для преобразования веб-запросов в структурированные, практические данные, поддерживаемые Afore Capital.

SERPrecon

PaidAI SEO Tools AI Analytics Assistant AI Web Scraper

SERPrecon — это продвинутый инструмент для SEO, который использует векторы, машинное обучение и обработку естественного языка, чтобы помочь пользователям анализировать и обгонять конкурентов, применяя те же методы, что и современные поисковые системы.

Web Researcher MCP