- Статус
- Offline
- Регистрация
- 20 Мар 2021
- Сообщения
- 17
- Лайки
- 333
ПЕРСОНАЛЬНЫЙ ПОИСК БЕЗ РЕКЛАМЫ, ОТСЛЕЖИВАНИЯ И СОКРЫТИЯ ИНФОРМАЦИИ
Таломир Миротал, Технологии Боттинга 12, апрель 2021
На днях я продал второй ноут, на котором в прошлом проекте крутились боты для SEO, вырученных денег хватило ровно на блок сигарет и несколько бутылок энергетика, так получилась возможность поработать - заняться любимым спортивным программированием. В TODO у меня как раз был свой поиск, чтобы планет-толкинг программа Кибер-Кошка и аудио-браузер Т не зависели от Duck Duck Go. Именно за свою поисковую систему я и взялся, ресурсов было на 6 дней!
Итак, что даёт персональный интернет-поиск с ноутбука? Во первых, исключается узкое место из системы: центральное хранилище, которое, например, может сгореть в пожаре, оставив всю планету без интернета и без сайтов: google.com
Во вторых, все поисковые запросы на google отслеживаются, используются для навязчивого рекламного преследования и продаются налево рекламным агентам, тоже для навязчивого преследования, как и содержимое переписки на gmail по почте. Делая поиск на своём домашнем ноутбуке или компьютере, вас почти не отслеживают, разве-что бэкдором ноутбука.
В третьих, в поисковой выдаче google, которая состоит из 100 страниц на запрос, нет почти ничего кроме заказанной рекламы и продвинутой SEO рекламы. То есть в срезаемом для выдачи топе поиска - только заказанные и 'продвинутые' сайты, то есть - реклама. Получается, что в интернете мы на 90% читаем только рекламу. В персональном поиске с честной выдачей по близости к запросу такой рекламы нет.
В четвёртых, google скрывает до 95% информации интернета. И намеренно, как-то нарушающие что-нибудь материалы, например фильмы и программы, нарушающие авторское право, и не намеренно, в силу корявой логики формирования поисковой выдачи - читай выше о рекламе (реклама вытесняет всё остальное автоматически, из выдачи). В персональном поиске без хайдов, работающем у вас на ноутбуке, вы находите все пиратские фильмы, всю пиратскую музыку, все пиратские программы, все оцифрованные книги, все запрещённые сайты и так далее. Персональный поиск - без хайдов, и вас не будут ломать крошением зубов или позвонков для сотрудничества и выполнения требований цензора!
Итак, персональная поисковая система на домашнем ноутбуке имеет 4 неоспоримых преимущества: надёжность, отсутствие рекламы в выдаче, отсутствие хайдов, отсутсвие отслеживания запросов и рекламного преследования. Кроме того, на вас так не собирают досье спецслужбы и полиция. Пишется такая поисковая система ровно за 6 дней, как показала практика, если вы используете язык высокого уровня типа C#, Java, Python, и профессионально им владеете.
АРХИТЕКТУРА
Мой персональный поиск UNHIDE внутри состоит из 4-х групп потоков, по 150 потоков в каждой группе. Технически, используются асинхронные задачи Task языка C# и критические секции кода lock для совместного использования данных потоками. Ну, и, конечно, сокеты и HttpRequest-ы.
Первая группа потоков, из класса ClassPortScanner, сканирует случайные IP адреса по портам 80 (HTTP) и 443 (HTTPS). Открытые порты добавляются в очередь для обработки воторой группой потоков.
Вторая группа потоков, из класса ClassSiteScanner, рекурсивно скачивает сайты целиком по найденным IP адресам из этой очереди. Извлекает из сайтов внутренние ссылки и добавляет их в очередь для третьей группы потоков.
Третья группа потоков, из класса ClassPageHasher, скачивает все найденные страницы сайтов и хэширует их, для сопоставления с ключевыми словами пользователя, занося хэши в JSON базу данных.
Четвёртая группа потоков, из класса ClassHttpServer, читает запросы к встроенному HTTP серверу и обслуживает полученные соединениями сокеты - посылает в них результаты поиска по базе данных, формируя HTTP заголовки и HTML-тела страниц, динамически.
Остальная часть системы состоит из кода работы с JSON базой данных на 1 террабайт хэшей страничек, и из кода панели управления поиском, окна, сворачивающегося в системный трей при автозагрузке Windows.
ЧЕЛОВЕКО-СЛОЖНОСТЬ
Сложность написания ядра системы персонального поиска на C# составляет ровно 4 человеко-дня. Остальные 2 дня из 6, идут на привязку кнопок к коду, создания окна регистрации и инсталлятора программы в один клик. Цена за копию, поэтому, не превышает $15 долларов США. Такая простота разработки объясняется использованием средства быстрой разработки приложений Microsoft Visual Studio с языком C#. Время на тестирование оценивается в один месяц.
СКРИНШОТЫ МОЕГО ПЕРСОНАЛЬНОГО ПОИСКА UNHIDE
Для просмотра ссылки Войдиили Зарегистрируйся
Для просмотра ссылки Войдиили Зарегистрируйся
РЕЗЮМЕ
В этой аналитической статье для хакеров приведён анализ принципов и преимуществ персонального интернет-поиска на ноутбуке, описана программная архитектура и человеческая сложность такого проекта. Анхайд теперь обозначает Раскрытие, раскрытие сокрытой в интернете информации в данном случае.
Таломир Миротал, Технологии Боттинга 12, апрель 2021
На днях я продал второй ноут, на котором в прошлом проекте крутились боты для SEO, вырученных денег хватило ровно на блок сигарет и несколько бутылок энергетика, так получилась возможность поработать - заняться любимым спортивным программированием. В TODO у меня как раз был свой поиск, чтобы планет-толкинг программа Кибер-Кошка и аудио-браузер Т не зависели от Duck Duck Go. Именно за свою поисковую систему я и взялся, ресурсов было на 6 дней!
Итак, что даёт персональный интернет-поиск с ноутбука? Во первых, исключается узкое место из системы: центральное хранилище, которое, например, может сгореть в пожаре, оставив всю планету без интернета и без сайтов: google.com
Во вторых, все поисковые запросы на google отслеживаются, используются для навязчивого рекламного преследования и продаются налево рекламным агентам, тоже для навязчивого преследования, как и содержимое переписки на gmail по почте. Делая поиск на своём домашнем ноутбуке или компьютере, вас почти не отслеживают, разве-что бэкдором ноутбука.
В третьих, в поисковой выдаче google, которая состоит из 100 страниц на запрос, нет почти ничего кроме заказанной рекламы и продвинутой SEO рекламы. То есть в срезаемом для выдачи топе поиска - только заказанные и 'продвинутые' сайты, то есть - реклама. Получается, что в интернете мы на 90% читаем только рекламу. В персональном поиске с честной выдачей по близости к запросу такой рекламы нет.
В четвёртых, google скрывает до 95% информации интернета. И намеренно, как-то нарушающие что-нибудь материалы, например фильмы и программы, нарушающие авторское право, и не намеренно, в силу корявой логики формирования поисковой выдачи - читай выше о рекламе (реклама вытесняет всё остальное автоматически, из выдачи). В персональном поиске без хайдов, работающем у вас на ноутбуке, вы находите все пиратские фильмы, всю пиратскую музыку, все пиратские программы, все оцифрованные книги, все запрещённые сайты и так далее. Персональный поиск - без хайдов, и вас не будут ломать крошением зубов или позвонков для сотрудничества и выполнения требований цензора!
Итак, персональная поисковая система на домашнем ноутбуке имеет 4 неоспоримых преимущества: надёжность, отсутствие рекламы в выдаче, отсутствие хайдов, отсутсвие отслеживания запросов и рекламного преследования. Кроме того, на вас так не собирают досье спецслужбы и полиция. Пишется такая поисковая система ровно за 6 дней, как показала практика, если вы используете язык высокого уровня типа C#, Java, Python, и профессионально им владеете.
АРХИТЕКТУРА
Мой персональный поиск UNHIDE внутри состоит из 4-х групп потоков, по 150 потоков в каждой группе. Технически, используются асинхронные задачи Task языка C# и критические секции кода lock для совместного использования данных потоками. Ну, и, конечно, сокеты и HttpRequest-ы.
Первая группа потоков, из класса ClassPortScanner, сканирует случайные IP адреса по портам 80 (HTTP) и 443 (HTTPS). Открытые порты добавляются в очередь для обработки воторой группой потоков.
Вторая группа потоков, из класса ClassSiteScanner, рекурсивно скачивает сайты целиком по найденным IP адресам из этой очереди. Извлекает из сайтов внутренние ссылки и добавляет их в очередь для третьей группы потоков.
Третья группа потоков, из класса ClassPageHasher, скачивает все найденные страницы сайтов и хэширует их, для сопоставления с ключевыми словами пользователя, занося хэши в JSON базу данных.
Четвёртая группа потоков, из класса ClassHttpServer, читает запросы к встроенному HTTP серверу и обслуживает полученные соединениями сокеты - посылает в них результаты поиска по базе данных, формируя HTTP заголовки и HTML-тела страниц, динамически.
Остальная часть системы состоит из кода работы с JSON базой данных на 1 террабайт хэшей страничек, и из кода панели управления поиском, окна, сворачивающегося в системный трей при автозагрузке Windows.
ЧЕЛОВЕКО-СЛОЖНОСТЬ
Сложность написания ядра системы персонального поиска на C# составляет ровно 4 человеко-дня. Остальные 2 дня из 6, идут на привязку кнопок к коду, создания окна регистрации и инсталлятора программы в один клик. Цена за копию, поэтому, не превышает $15 долларов США. Такая простота разработки объясняется использованием средства быстрой разработки приложений Microsoft Visual Studio с языком C#. Время на тестирование оценивается в один месяц.
СКРИНШОТЫ МОЕГО ПЕРСОНАЛЬНОГО ПОИСКА UNHIDE
Для просмотра ссылки Войди
Для просмотра ссылки Войди
РЕЗЮМЕ
В этой аналитической статье для хакеров приведён анализ принципов и преимуществ персонального интернет-поиска на ноутбуке, описана программная архитектура и человеческая сложность такого проекта. Анхайд теперь обозначает Раскрытие, раскрытие сокрытой в интернете информации в данном случае.
Также сделал и отладил 120 ссылок в выдаче в зарегистрированной версии, вместо 5 ссылок в демо-версии. 10 подходов исправления багов и оптимизации поиска по базе заняло, вначале - не работало, теперь - нормально.
