Как на самом деле работают все приборы локации без спутников: Мир без спутников. Что будет, если все искусственные спутники Земли исчезнут, и может ли это случиться

[кейс Locomizer] Какие знания можно на самом деле извлечь из анонимизированного датасета с координатами пользователей

Данная статья является частью серии «Кейс Locomizer», см. также

Здравствуйте.

Недавно издание The New York Times опубликовало претендующую на сенсационность статью о том, как отследить пользователей по коммерчески доступным анонимизированным датасетам с координатами их перемещений, и здесь, на Хабре её вольный перевод с дополнениями от неизвестного корпоративного копирайтера собрал большое количество комментариев разной степени обеспокоенности.

Так получилось, что я последние два с половиной года являюсь техническим лидом на геоинформационном проекте, который занимается задачей непосредственного извлечения знаний именно из таких коммерческих датасетов. Но мои комментарии с просьбой отставить панику собрали большое количество минусов. Что ж. В поговорке про отсутствие паранойи и не факт, что за вами не следят, есть некая доля истины.

Но есть и доля истины по ту сторону чёрного зеркала, возможно, куда большая. Или интересная.

Так вот, давайте я подробно расскажу, как мы следим (и следим ли мы вообще в смысле шпионажа) за вами (и за вами ли лично), и что за знания о пользователе можно получать, не обладая ровно никаким контекстом, кроме координат его перемещений, собранных с

мобильных абонентских терминалов. Без излишнего журнализма и хайпожорства, с точки зрения технического специалиста, который обладает некоторым реальным опытом решения невыдуманных задач для невыдуманных заказчиков, среди которых не только различные рекламные агентства, Coca-Cola и Guinness, но и, к примеру, ООН. И с огоньком.

Более того! В конце данной серии статей я хочу поделиться инструментарием, который мы разрабатывали в течении двух с половиной лет, чтобы вы самостоятельно могли заняться исследованиями, если купите (ну или достанете) подходящий датасет. До сих пор, насколько мне известно, никто не выкладывал в открытый доступ таких инструментов. По крайней мере, когда два года назад мы искали, ничего не нашлось, и пришлось писать самим. Путь к быстрым расчётам был труден и долог, о нём будет вторая часть.

Итак. Оглавление данного анамнеза:

• Анатомия анонимизированного датасета
• Проблемы точности координат в средней полосе
• Эвристики очистки данных от шума и мусора
• Да что за «знания» такие?
• Points of Interest
• Проблемы извлечения знаний
• Скоринг пользовательских интересов

Бонус:

• Благодарности и краткий FAQ

Анатомия анонимизированного датасета

Возьмём коммерческого поставщика Tamoco и посмотрим, какие файлы он отгружает. Например, вот кусочек реального датасета по стране Соединённое Королевство Великобритании и Северной Ирландии, дата — 4 декабря 2019 года:

sdk_ts,device_id,latitude,longitude,accuracy,country,device_type,device_make,device_model,device_language,device_os,device_os_version,device_hw_version,device_screen_width,device_screen_height,device_battery,altitude,inv_id,trigger_type,app_account_id
1575390011,d75f97488c430502046fdb4ebfcc0ffd,51.516766,-0.1279744,10,GB,,,SM-G950W,en-CA,,,,0,0,0,0,4260328,GEO_FENCE_ENTER,115
1575414847,d75f97488c430502046fdb4ebfcc0ffd,51.516766,-0.1279821,10,GB,,,SM-G950W,en-CA,,,,0,0,0,0,4260328,GEO_FENCE_ENTER,115
1575424373,7e3323b382ddaafb9f774af95631cc44,51.51379,-0.0999953,7.6,GB,,,SM-G925F,en-GB,,,,0,0,0,0,31572218,GEO_FENCE_ENTER,115
1575417663,90165d78553fb37b0d62500733b39d11,53.724384,-6.879851,11,IE,aaid,,SM-A605FN,,android,9,,0,0,0,138,0,UNKNOWN_TRIGGER,229
1575417977,b6f2375275a21c40e03e4c6ea9ea4da0,52.75558,-7.9915,5,IE,idfa,,iPhone7.1,,ios,12.4.3,,0,0,0,122,0,UNKNOWN_TRIGGER,229
 

Вот что мы видим в полях этого датасета:

• sdk_ts — штамп времени в Unix Epoch,
• device_id — анонимизированный ID устройства (мобильного абонентского терминала, такого как смартфон или планшет),
• latitude/longitude — географические координаты,
• accuracy — горизонтальная точность координат, метры,
• country — страна,
• остальные поля — мусор, не несущий особой смысловой нагрузки.

Почему сразу «мусор»?

К сожалению, такое полезное, казалось бы, поле altitude бессмысленно, потому что высота над уровнем моря плохо переводится в номера этажей зданий, а пролетающих на самолёте можно отсеять и без него (но об этом разговор пойдёт чуть позже).

В отличие от журналистов из указанных в начале статей, у нас нет никакого дополнительного контекста о пользователях, и мы не делаем голословных предположений «по умолчанию», типа «был в Пентагоне — значит, работает в Пентагоне». Мы также не фейсбук какой-нибудь, который знает о вас всё, что вы сами о себе рассказали (а средний пользователь рассказывает о себе очень дофига), плюс весь ваш социальный граф. Мы купили сырые данные, и мы им — не верим.

Так что из контекста имеется только пользовательская локаль — она может помочь определить иностранных туристов, но это не точно.

Ну, также помимо координат и времени есть ещё модель телефона — теоретически она открывает возможность по отдельности обрабатывать владельцев различных устройств на iOS и Andriod. В комментариях к статье из того корпоративного блога кое-кто предполагал заняться гоп-стопом с отжимом особо дорогих мобил, отследив их по геолокации… Хм, вы знаете, но такая бизнес-модель нормальным конторам, которые могут себе позволить купить данные, будет несколько невыгодна 🙂

Важно понимать, что данные от поставщика приходят сырые, то есть, взятые с устройств, и никаким образом не обработанные, кроме, возможно, замены реального device_id на хеш по требованиям GDPR (он стабильный, между разными месячными дампами одно и то же устройство будет представлено одинаково).

У каждого поставщика набор и формат полей свой, но координаты, точность, время, и device_id есть у всех, а Tamoco я взял для примера как самый среднестатистический. И что можно предположить о пользователе, глядя на строку сырых данных, если не заниматься инсинуациями и гаданием на кофейной гуще?

Разве что, тот факт, что он, возможно, в указанное время был где-то поблизости от указанных координат. Точнее, так решила какая-то библиотека из чьего-нибудь SDK, которая занимается сбором геолокации в приложении на его абонентском терминале, и выгрузила эти данные агрегатору. Ей кажется, что он там был, но конечное решение, верить ей или нет, принимаем мы, причём сильно постфактум.

Проблемы точности координат в средней полосе

GPS — офигенная штука. Недавно была отличная статья о её возможностях, обязательно прочитайте, если ещё не.

Вот только все крутые примеры рассказывают об идеальных случаях, которые, увы, никак не относятся к коммерческим датасетам.

Во-первых, мобильные абонентские терминалы из коммерческих датасетов — это совсем не профессиональные GPS-приёмники, которые призваны служить одной цели, и сделаны на гораздо более подходящей элементной базе, с хорошими усилителями и большими антеннами. Смартфон есть смартфон — то есть, самые дешёвые компоненты, упакованные в маленький корпус с маленькими антеннками, которые работают благодаря диким технологическим ухищрениям сразу в нескольких диапазонах, из которых GPS — это далеко не основной.

Во-вторых, городская среда — это очень, очень сильно пересечённая местность. Подумайте сами, — если откинуть американскую одноэтажную субурбию, любая современная городская улица представляет собой глубокий овраг с очень крутыми стенами, не то, что горизонта не видно, так и кусок неба над головой виден весьма небольшой. А для нормальной точности нужно иметь 4 спутника в прямой видимости одновременно, лучше больше. Ради интереса, как-нибудь выйдите во двор своей многоэтажки, и посмотрите, сколько спутников видит ваш смарт. (Скорее всего, вам потребуется рутованный андроид и/или какой-нибудь платный GPS-трекер.)

В-третьих, среднестатистический пользователь постоянно двигается, он не ждёт на месте по нескольку минут, пока его абонентский мобильный терминал поймает нужное количество спутников, он идёт или едет, поворачивает, и видимость постоянно меняется.

В-четвёртых, пользователь отнюдь не всё время держит телефон в руках. В кармане, сумочке или рюкзаке он может лежать боком или как попало, и вообще не поймает ничего.

В-пятых, любое здание, построенное из железобетона, может представлять собой как классическую клетку Фарадея, так и фазированную решётку, или зеркало с интересными нелинейными свойствами, которое может как усиливать сигнал, так и гасить его за счёт интерференции на некотором расстоянии вокруг. Или отражать под непредсказуемым углом, сдвигать фазу, и так далее. Всё зависит от шага металла в бетонных стенах.

В-шестых, автомобили вокруг тоже сделаны из металла.

В-седьмых, глубоко внутри здания GPS обычно не ловит, а уж в метро — тем более.

Все эти факторы делают GPS в городе крайне ненадёжным, и производителям мобильных абонентских терминалов (а также поставщикам location services для мобильных операционок) приходится выкручиваться с различными Assisted GPS технологиями.

Самыми распространёнными являются триангуляция по базовым станциями сотовой связи и сетям WiFi (и даже Bluetooth).

Все эти смешные гугловые и яндексовские автомобильчики с камерами, снимающие панорамы для street view, на самом деле в основном собирают информацию о CellID, именах сетей и уровнях сигнала роутеров, а фотки — так, попутное баловство. Кроме них, массово собирает эту информацию HERE Maps, — а в развитых странах Apple, и ещё с десяток контор поменьше. Ну и те библиотеки, которые зашиты в мобильных приложениях, и поставляют данные о геолокации, постоянно делают ровно то же самое, just for instance, как и почти любой виджет, показывающий карту.

Основной вопрос тут в точности.

В отличие от GPS, LBS с ней всё плохо. Метров 20 для LTE в самом идеальном случае (в общем же — до пары километров), а что касается Wi-Fi, то тут диаграммы направленности роутеров, протяжённые меш-сети с репитерами, и сами физические характеристики сигнала частот 2.4 и 5 ГГц снижают достоверность вне помещений до 150 метров и более.

А это уже постоянные скачки пользователя на другую сторону улицы или перекрёстка, а то и вовсе за полквартала от того места, где он есть на самом деле — если, например, роутер стоит на 5 этаже, а вокруг ущелье из высоток, то сигнал не будет ловиться у подъезда, зато прекрасно поймается в конце этого ущелья.

Наконец, многие поставщики грешат ещё одной нехорошей особенностью. Если не удаётся определить положение с приемлемой точностью, пользователь будет телепортирован в центр определённого геофенса — то есть в центр многоугольника, соответствующих определённому postcode или административному району, определённому по косвенным признакам, и на карте будет полно таких «горячих точек» с тысячами сигналов.

Москва, Кремль, небольшой датасет от ноября 2019 годаВ отмеченной на иллюстрации маркером точке с координатами (55.75270; 37.61720) находится сразу 208776 сигналов. Это не определившиеся с должной точностью точки, попавшие в «центр» соответствующего геофенса Сенатской площади, он же «центр» Кремля.

Кроме неё, также следующие координаты слишком уж «горячие»:

(55.75222; 37.61556) 193
(55.75111; 37.61537)  53
(55.74988; 37.61701)  45
(55.74988; 37.61700)  36

А во всех остальных точках c этой картинки — ровно по одному сигналу.
Хуже того, такие «центры районов» в каждой картографической подложке разные, и если от жилых зданий Apple и Google стараются их перемещать (в Штатах были нехорошие прецеденты с судебными исками), то сдвигом точки от нежилого здания никто заморачиваться не будет.

Определение положения внутри большого торгового центра площадью тысячи квадратных метров — отдельная боль. GPS не поймать, сотовая сеть на весь центр обычно одна и та же, и чтобы понять, какой из сотни магазинов посетил пользователь, надо ещё и этаж каким-то образом узнать. Good luck with that.

Собственно, если даже и есть поле altitude, то не всегда понятно, по какому геоиду оно посчитано (не обязательно WGS84), да и фиг его знает, какой высоты этажи в здании, чтобы посчитать самим. И сколько их? В азиатских странах из-за суеверий, например, не бывает не только 13-х, но и 4-х этажей. Такую информацию очень сложно найти, и при массовой обработке трудозатраты никогда не окупятся.

Потому, как бы нам того ни не хотелось, к сырым датасетам приходится применять изощрённые

Эвристики очистки данных от шума и мусора

Но для начала расскажу, кто наш пациент.

Наш пациент анонимен, и имя ему — тысячи, а лучше, миллионы, ибо наши заказчики платят за статистику, собранную en masse. Конкретный человек не делает погоды для Coca-Cola, даже если он купит грузовик газировки разом. Коммерсантам нужны общие паттерны и тенденции, а также картина того, как они устанавливаются с течением времени. Владельцам сетей лондонских пабов важно знать, в какую погоду и время суток у них будет поток посетителей в пабах, расположенных на углу у станции подземки, а в какое — рядом с кинотеатрами, и им совершенно по барабану, входит ли в эти выборки из тысяч анонимов некий Vassily Poupkine из Рязани, или нет.

Главное, чтобы их было много, и были они релевантны. Мы работаем с популяциями.

Поэтому, например, проезжающие на автомобиле пользователи, и пользователи, идущие пешком — это разные по ценности пользователи. У первых круг зрения тем уже, чем выше скорость движения, и они не обратят внимания на постер. Но если будут стоять в пробке, или на длинном светофоре, то почему нет. Как и пользователи, проезжающие в автобусе, которым глазеть по сторонам — это основное занятие (если они не тупят в любимой социалочке в это время).

Также, важно разделять пользователей, которые работают в целевом геофенсе — продавец магазина должен быть отделён от посетителей магазина, за которыми мы охотимся. Точнее, вся популяция продавцов всех магазинов розничной сети от всей популяции покупателей.

И всё это означает, что нам нужно иметь треки, качественные по следующим параметрам:

• без низкой точности координат,

• без глитчей геолокации:
— телепортов на полквартала в сторону и обратно,
— скачков через дорогу,
— вне «горячих точек»,

• классифицированные по типу перемещения:
— пешком,
— на машине,
— в автобусе,
— на велике или скутере,
— на Синкансене или на самолёте…

• без случайно затесавшихся в геофенсе нецелевых пользаков,

• без обрывочных треков, бесконечно нарезающих круги по маленькой площади (откуда они берутся, не совсем понятно, но их достаточно, чтобы выделить в отдельный проблемный класс, — наиболее вероятно, что это всякие замки с GSM-сигнализацией или радионяни — они тоже собирают геолокацию).

И если самое первое условие тривиально — проитерироваться по датасету и выкинуть все точки, у которых поле accuracy < 10 метров, то с остальными просто ворох проблем.

Вы и сами можете предположить, каких именно. Например, как отличить пешехода, ждущего на остановке автобус, от стоящего в соседней пробке водителя?

Приходится делать некоторые предположения, и строить математические модели для каждого такого фильтра, полные различных допущений. Иногда допущений довольно-таки сильных в плане отбрасывания значительной части популяций.

Вот, например, продавец аутлета в торговом центре, работающий посменно два дня через день. Если в рабочие дни он точно нецелевой, то в выходные — вполне может быть целевым для кинотеатра в этом же ТЦ. Но прикол в том, что стандартное расписание с понедельника по пятницу и два выходных для него не применимо, и классификатор должен каким-то образом отрабатывать, или же полностью выкидывать его из уравнения.

В любом случае, по каждой из матмоделей строится некий фильтр с кучей настроек, использующий эвристический подход.

Мы набираем большую статистику, вручную находим в ней нежелательные паттерны, формулируем задачу, отлаживаем в интерактивном режиме, и пишем отдельную обработку, а затем встраиваем её в процесс обработки датасета — в том случае, если уверены, что он требует такой подготовки.

Есть некоторое количество уже готовых алгоритмов. Например, чтобы определить горячие точки, можно использовать классический фильтр по частотности сигнала на решётке.

А вот классификатор по типам движения, работающий по принципу скользящего окна и машины состояний (методом проб и ошибок мы потратили на его разработку в сумме почти полгода), изощрён настолько, что называть его «фильтром» уже некорректно.

Кроме того, у некоторых поставщиков пишется какое-то невменяемое количество точек на трек — то ли они аппроксимируют промежуточные точки на отрезках между измерениями, то ли просто пытаются снять их каждые пару метров, но получаются многие тысячи сигналов на прогулке в километр. Это явно перебор, и чтобы не захлебнуться в объёме, мы вынуждены прореживать треки при помощи очередной хитрой эвристики со скользящими окнами и непростой математикой для вычисления расстояния от всех точек треков до их центроидов.

Поэтому мы зовём процесс накладывания цепочки эвристик на исходный датасет обогащением сырых данных. И извлекаем знания уже из предварительно обогащённых данных.

И вот какая закавыка с любыми эвристиками: порядок применения очень сильно влияет на результат. Поэтому процесс обработки каждый раз получается уникальный, и не совсем хорошо повторяемый даже на данных от того же поставщика в том же регионе, но через полгода.

И ещё один момент — сырые данные от разных поставщиков смешивать в одном проекте нельзя, даже если привести их к общему знаменателю. Но если каждый сырой датасет независимо обработать подходящим для него алгоритмом, то обогащённые сигналы (без шума) уже можно сливать в единый исходник. Дублирования пользаков в данных разных поставщиков мы не находили.

В любом случае, некоторые знания из обогащённого датасета можно извлечь всегда, если постараться.

Да что за «знания» такие?

Отличный вопрос.

— Надо найти всех пользователей из Усть-Пердуйска, которые любят воровать свежую кукурузу с колхозного поля в конце августа.
— Простите?
— Ну, во-он то кукурузное поле. Август прошлого года.
— Мы про «воровать»…
— Определите как-нибудь, вы же специалисты!
— Ок. Ещё что-нибудь?
— Они должны курить Pall Mall.
— (про себя) Почему именно Pall Mall… хотя пофиг, нас это не интересует. Если дадут явки, так ведь найдём 😀 (вслух, твёрдо) Только если дадите инфу, где они его покупают.

Вы прослушали диалог со сферическим заказчиком в вакууме, пусть не настоящий в плане сущностей «жить в Усть-Пердуйске», «кукурузное поле», «воровать» и конкретной марки сигарет, но зато полностью аутентичный по сути. Задачи так и ставятся — надо найти некоторую популяцию, описываемую в терминах геофенсов и пользовательского поведения, такого как место проживания, посещение определённых категорий мест в определённое время и т.п. Круг таких задач весьма широк, а набор параметров может быть довольно-таки экзотичен.

Но если есть некоторая матмодель, то применяя к большому набору обогащённых (то есть, качественных, без аномалий) данных статистические методы, вполне можно выцепить подходящую популяцию. Оценки все будут вероятностные. Мы не можем однозначно утверждать, что один пользователь точно живёт в Усть-Пердуйске, и ворует кукурузу каждый август, но если таковых наберётся хотя бы тысяча, мы таких найдём с 90% вероятности. Возможно, сможем и курильщиков, но относительно марки сигарет скорее всего потребуется дополнительный контекст, и если его предоставит заказчик, найдём среди них нужных — но точность не гарантируем.

Но такие задачи с контекстом на самом деле редки, и обычно мы делаем исследования на основе некоего стандартного набора отлаженных и проверенных матмоделей, разбирающих генеральную популяцию на такие сегменты, как:

• проживающие в геофенсе / работающие в геофенсе,
• распределение по уровню дохода домохозяйств,
• автомобилисты,
• любители посещать рестораны и кафе,
• шопоголики,
• спортивные болельщики,
• мамочки с маленькими детьми,
• командировочные,
• иностранные туристы…

Для каждой из категорий (всего их пара тысяч) процесс обработки строится по шаблону из предопределённых операций с кучей настроек, и параметризуется в зависимости от конкретных требований заказчика.

Операции разрабатываются следующим образом: data scientist пишет матмодель в виде white paper, затем она программируются и отлаживаются на эталонных наборах данных на Python, и в конце собирается обработка на Spark (мы пишем на Java, но можно и на Scala), которую я оптимизирую. (Ага, примерно как в известном меме про рисование совы, впрочем, подробнее будет во второй части моего повествования.)

Сами шаблоны для конкретных проектов конкретных заказчиков собирает специально обученный человек — data analyst. Хотите задать ему вопрос — напишите keskiy в комментах, и Гена вам ответит. Он же, кстати, подготавливает конечное визуальное представление в виде тепловой карты или большой красивой Excel-таблицы, потому что заказчики, как правило, плохо понимают многомегабайтные портянки из цифр.

Когда шаблон составлен, датасет загружается в S3 на Amazon Web Services, и при помощи магии (которую я подробно опишу в третьей статье данного цикла), запускается его обработка в сервисе EMR.

Что важно — мы никогда не берёмся за задачи определения или нахождения конкретного человека, потому что ни одна из наших матмоделей не работает на малых выборках. Сама статистическая природа всех наших эвристик препятствует работе с точечным контекстом, более того, мы намеренно отбрасываем пользаков, которые выходят за 95-ую персентиль, потому что слишком хорошее совпадение — это тревожный признак наличия накрутки.

На тепловой карте такие пользователи дают особенное, горячее пятно. Приведу пример, который может показаться анекдотическим, но он абсолютно реальный.

Я сам однажды непреднамеренно нагрел полигон на тепловой карте.Дело было так: мисклик на рекламу в браузере. Оказалось, ткнул на кружевное женское бельё, и попал в магазин с аббревиатурой WB, но не Warner Bros., а с фиолетовыми буквами. Ну а что, подумал я. Смотреть на фотки девушек в красивом нижнем белье мне нравится.

Ну я и начал пару тройку-раз в неделю кликать на них, пролистывать страницы этого магазина, — со своего аккаунта, но нескольких разных устройств с разными device_id, — чтобы Гугл, Яндекс и вообще все на свете рекламные сети показывали мне только их. И я добился своей цели. Целый год вся реклама в интернете показывала мне ничего, кроме красиво раздетых девушек.

А потом в соседнем доме открылся пункт выдачи этого интернет-магазина, и я поставил адблокер.

Эвристика — шутка такая, её можно обмануть. Результат будет анекдотическим. «Пользователи, которые активно интересуются женским бельём в интернет-магазинах, кучкуются тут.» Ну-ну.

Но это вырожденный случай. А стандартные случаи рассчитываются по базе POI.

Points of Interest

Отдельная большая задача, которой отдельно занимаются специально обученные люди — ведение базы категоризованных заведений и достопримечательностей, отелей и памятников, интернет-кафе и публичных домов… и прочих мыслимых точек притяжения человеческих популяций.

Как я уже сказал, у нас тысячи категорий, к которым может относиться то или иное интересное в плане посещения место. Точнее, дерево категорий. Взять «77 кафе и рестораны»:

• 77-1 кафе
• 77-8 рестораны
 o 77-8-6 сетевые рестораны быстрого питания
   77-8-6-90 McDonalds
    • 77-8-6-90-1 MacAuto
   77-8-6-91 Burger King
   77-8-6-92 Pasta Hut

— ну и так далее.

В каждом населённом пункте таковых «заведений» может быть от ни одного до многих тысяч, и для каждого нужно вести и актуализировать справочник с координатами, и полным набором подходящих категорий. Какой-нибудь трёхэтажный торговый центр с сотней магазинчиков, фудкортом и кинотеатром является местом сосредоточения сразу множества POI со множеством дублирующихся категорий, но одним адресом, и с учётом того, что точки открываются и закрываются, на плечи исследователя ложится плохо автоматизируемая задача ведения такой базы.

А с учётом того факта, что популяцию могут заказать сразу на уровне префектуры, а то и страны, то размер базы POI для одного проекта может исчисляться миллионами точек и десятками категорий. Но сначала его надо взять. И хорошо, если страна развитая, или с активным сообществом картографов OSM. Не всегда, так что иной раз надо побегать.

А уж если кто-нибудь закажет расчёт на историческом датасете, то придётся найти справочник POI, актуальный пару лет назад, и это вообще не та задача, за которую особо хочется браться. Хорошо, если он у нас уже был. Приходится постоянно накапливать архив таких баз, вдруг кому-нибудь ещё пригодится.

Если у вас вдруг есть интерес по ведению базы POI, можете поспрашивать в комментариях координатора проекта Евгения mitra_kun.

Ну так вот, допустим, мы успешно нашли, или купили у какого-нибудь местного GIS-справочника базу POI на регион для нашего следующего проекта, и разобрались с категориями (которые у поставщика могут кардинально не совпадать по организации с нашими). Теперь нам нужно будет взять наш обогащённый датасет, эту базу, и посчитать необходимые нам сегменты популяций.

Проблемы извлечения знаний

Можно попробовать пойти инновационным методом журналистов из The New York Times — «был в Пентагоне в рабочее время, значит, работник Пентагона». Но данный путь полон различных импликаций.

Что есть «рабочее время»? Я уже упоминал о неправильности расхожего представления, что рабочий график 5/2 подходит всем, но ведь и 8-часовой рабочий день в границах с 9 до 18 тоже верен только для офисного планктона. Это, в лучшем случае, даёт покрытие где-то половины целевой популяции (наша эмпирическая оценка, выведенная из практики). А помимо упомянутых графиков «два дня через день» бывают и другие, а также ещё различные смены типа утренней и ночной, где рабочие часы соответствуют времени сна типичного представителя популяции.

Ситуация в даунтаунах крупных городов, таких как Лондон, Нью-Йорк, или Токио ещё интереснее: там много зданий смешанного типа с офисами, отелями, и апартаментами, и разделить по-простому части популяций, которые в таких кварталах «живут» (то есть, спят — в ночное время) и «работают» (то есть, находятся в дневное время с, возможно, перерывом на обед) довольно сложно. А дополнительного контекста у нас, как я уже неоднократно подчёркивал, нет. Только координаты и время.

Неизбежно придётся жертвовать значительной частью популяции, чтобы не переусложнять и без того мудрёную эвристику классификации. Следовательно, исходный датасет должен обладать достаточным объёмом, чтобы даже при элиминировании большей его части на нём всё ещё продолжали действовать статистические законы, свойственные большим множествам.

Разбираться же вручную с каждым из атипичных подмножеств интересно, но это длительный и неблагодарный процесс, так что мы честно говорим о возникающих импликациях, и забиваем на нестандартных пользаков, которые не вписываются в матмодель большинства. Поэтому и реклама, рассчитанная на массового потребителя, работает не настолько эффективно для половины аудитории, как могла бы, будь возможным таргетировать её на полную популяцию.

Ну и, многоэтажные локации. В одном и том же офиснике на разных этажах могут располагаться POI из целевых для одного проекта категорий. Например, стоматологический кабинет, страховая компания, тренажёрка. И в какую категорию засчитывать двухчасовой визит какого-нибудь пользака, если он произошёл, допустим, 29 августа? Он (или она) лечил зубы, заключал договор КАСКО, или под конец месяца купил абонемент в спортзал? Контекста у нас никакого нет, и можно было бы посмотреть данные по другим месяцам, чтобы хотя бы выявить абонемент в спортзал по регулярным посещениям, но часто заказ бывает строго на какой-нибудь один только август без сентября, и всё. Мы делаем допущение, что с равной вероятностью верны все три варианта, и засчитываем некий скор по каждой из этих категорий.

Скоринг пользовательских интересов

К сожалению, я не имею права подробно рассказать о математике, стоящей за вычислением скора, потому что это патентованное ноу-хау, на котором построен наш бизнес. Мы используем отличную от всех остальных представителей индустрии матмодель, вышедшую из биологических предпосылок (основатель проекта имеет докторскую степень по биологии), и экспериментально проверенную на популяциях различных модельных организмов, от клеточных культур до мышей, и затем доработанную под поведение людей.

Если без подробностей, то мы при назначении скора какому-то одному визиту в целевой геофенс мы учитываем интерес, который представитель популяции испытывает ко всем имеющимся POI из выбранной категории. Допустим, любитель макдака, если только он по какой-то причине не привязан к конкретному ресторану, будет посещать в основном именно макдаки, но обходить стороной заведения бургер кинг. Соответственно, при положительном скоре в категории «рестораны быстрого питания» у него будет больший положительный скор по категории «McDonalds», который перевешивает меньший отрицательный скор по категории «Burger King».

Для одного выбранного пользователя «суммарные очки опыта» довольно малоосмысленны, и могут даже выглядеть случайными, но когда пользователей накапливаются миллионы, происходит статистическая магия — суммы скоров на уровне популяции в пределах доверительного интервала действительно начинают отражать картину интересов этой популяции ко всем POI выбранных категорий. Чтобы разобраться, как именно это происходит, надо читать соответствующую диссертацию, — я не специалист в биологии и не могу судить о ней профессионально, — но рекламные кампании, проведённые нашими заказчиками с учётом интересов популяций, дают гораздо лучшие результаты, чем по конвенциональным методикам, применяемым в традиционных адвертайзинге и маркетинге.

Ещё интереснее, когда мы не просто считаем суммы, а покрываем всю карту равномерной сеткой и просчитываем скор категории для сигналов, учтённых в каждом полигоне этой сетки исходя из интересов пользователей, которым принадлежит учтённый сигнал. На картинке для привлечения внимания в начале статьи приведена одна из них, но на самом деле результатом одного проекта являются десятки, а то и сотни таких карт — для каждой целевой категории и сегмента популяции.

Или же — ничего путного не получается, если датасет слишком мал, зашумлён, неточен, или база POI составлена неверно. Из-за эвристик и неполных матмоделей данные должны быть достаточно большими, чтобы результат получался достоверным.

Но большие данные — это на самом деле не про размер.

А что это такое, и каким образом они возникают во время обработки, пойдёт речь в следующей части. Не переключайтесь, через пару дней я расскажу о том, как мы из прототипа, собранного на коленке, мы построили автоматизированный конвейер в Амазоновском облаке, и научились обсчитывать терабайты сырых данных за минуты вместо недель. Это будет гораздо более техническая статья.

Вот эти ребята.

Благодарности и краткий FAQ

Без фидбэка замечательных коллег — инженеров по большим данным эта статья не получилась бы настолько понятной:
А без редакторских правок Нади Носковой и Полины Русиновой из команды HUDWAY она не вышла бы настолько легко читаемой. Спасибо!

Теперь краткий FAQ по вопросам рецензентов.

Q. Сколько точек за час/день/минуту есть у «среднего» человека? То есть в целом мы можем сгруппировать по device_id и понять где человек находился в течение дня? Можно ли склеить данные непрерывно за неделю?
A. Ярко выраженного среднего нет, точек может быть от одной до миллионов (проблема «длинного хвоста»; мы убираем пользаков с количеством точек под 5-й и за 95-й персентилью), это сильно зависит от поставщика. Сгруппировать можно, склеить тоже, но полученное облако точек не обладает закономерностями, очевидными «на глаз», это просто хаотически накиданное на карту облако. После обогащения уже видны траектории, но они обычно рвутся в самых неожиданных местах и не сильно помогают.

Q. Можно ли джойнить семьи? Что 2-3 устройства ходят вместе в течение нескольких выходных? Отсечь от соседей?
A. Сомнительно. Вряд ли у членов семьи идентичный набор приложений на абонентских терминалах, и вряд ли паттерны использования полностью совпадут. До сих пор у нас такой задачи не было, но попробовать можно. Если нам кто-нибудь закажет такое исследование, конечно, бесплатно тратить время на проверку гипотезы мы не можем.

Q. С точки зрения бизнеса, есть ли возможность таргетировать конкретных клиентов? Как? Есть только какой-то device_id, но очевидно мы не знаем ни номер сотового, ни почты. Только если этот пользователь снова где-то пройдет мимо с тем же device_id? Он статический? Либо что-то типа finger_print и может меняться от провайдера данных?
A. Провайдер назначает device_id, и это не то, что видно, например, в настройках телефона, то есть, имеет место двойная анонимизация. Никаких данных помимо того, что расписано в анатомии датасета, у нас нет. Внутри провайдера он остаётся одинаковым для одного устройства, и можно склеивать месячные датасеты, пользак с большой вероятностью останется тем же самым.

Q. Провайдер данных, пояснить подробнее. То есть это не сотовый оператор по вышкам, но «нечто запущенное на телефоне» что в фоне собирает локации и потом пачкой куда-то сливает? Если телефон старый, без интернета, включенного блютуза — соберут ли кто-то такие данные? Если я на трассе на заправке, нигде вайфая нет, то можно ли собрать инфу?
A. Это та же самая библиотека, что показывает тебе рекламу в твоих приложениях, или является его частью, такой как показ мест на карте. Работает на твоём телефоне, если ты разрешил приложениям собирать геолокацию (или это разрешение прописано у них в манифесте). Информация собирается непрерывно, пока приложение работает в фоне, при доступности сети накопленная информация отсылается пакетом в облако провайдера рекламной сети или картографического сервиса, а оттуда уже забирается агрегаторами.

Q. Чуть подробнее про провайдеров данных ещё. Получается, их более одного. Они все равно собирают только часть потока, 10/20/40/70%? Они как-то разбиты по территории? Могут ли пересекаться по времени/локации, по сотовому оператору, еще чему-то? Или только тупо количества можем отвечать, никакого таргетинга?
A. Да, их много, но про доли мы точно не знаем. У кого-то лучше по одной стране, у кого-то — по другой. Заказчики обычно сами говорят, чьи данные они хотят обработать. Склеить пользаков в датасетах разных поставщиков по одному и тому же региону за один и тот же промежуток времени у нас достоверно не получилось. Таргетинг у всех поставщиков одинаковый — по геофенсу региона. Страна, префектура, город, и т.п., но пересечений между ними не заметно.

Если у вас есть ещё вопросы, не стесняйтесь их задавать в комментах Гене keskiy и Евгению mitra_kun. Ребята довольно заняты, но на интересные и осмысленные вопросы по обработке данных пользаков и ведению базы поёв обязательно ответят в течение нескольких дней.

С вопросами технического плана рекомендую повременить до финала данной серии статей.

Как не заблудиться в космосе? / Хабр

Римский философ Сенека сказал: «Если человек не знает, куда он плывет, то для него нет попутного ветра». В самом деле, какая нам польза от двигателей, маховиков или соленоидов, если мы не знаем положения аппарата в пространстве? Этот рассказ о приборах, которые позволяют нам не заблудиться в космосе.

Технический прогресс сделал системы ориентации небольшими, дешевыми и доступными. Сейчас даже студенческий микроспутник может похвастаться системой ориентации, о которой пионеры космонавтики могли только мечтать. Ограниченность возможностей порождала остроумные решения.

Асимметричный ответ: никакой ориентации

Первые спутники и даже межпланетные станции летали неориентированными. Передача данных на Землю велась по радиоканалу, и несколько антенн, чтобы спутник был на связи при любом положении и любых кувырканиях, весили гораздо меньше, чем система ориентации. Даже первые межпланетные станции летали неориентированными:

Луна-2, первая станция, достигшая поверхности Луны. Четыре антенны по бокам обеспечивают связь при любом положении относительно Земли

Даже сегодня иногда бывает проще покрыть всю поверхность спутника солнечными батареями и поставить несколько антенн, нежели создавать систему ориентации. Тем более, что некоторые задачи нетребовательны к ориентации — например, фиксировать космические лучи можно в любом положении спутника.

Достоинства:

• Максимальная простота и надежность. Отсутствующая система ориентации не может сломаться.

Недостатки:

• Годится сейчас, в основном, для микроспутников, решающих сравнительно простые задачи. «Серьезным» спутникам без системы ориентации уже не обойтись.

Солнечный датчик

Фотоэлементы к середине XX века стали вещью привычной и освоенной, поэтому нет ничего удивительного, что они отправились в космос. Очевидным маяком для таких датчиков стало Солнце. Его яркий свет попадал на фоточувствительный элемент и позволял определять направление:

Различные схемы работы современных солнечных датчиков, внизу находится фоточувствительная матрица

Еще один вариант конструкции, здесь матрица изогнута

Современные солнечные датчики

Достоинства:

• Простота.
• Дешевизна.
• Чем выше орбита, тем меньше участок тени, и тем дольше может работать датчик.
• Точность примерно одна угловая минута.

Недостатки:

• Ориентация только по одной оси.
• Не работают в тени Земли или другого небесного тела.
• Могут быть подвержены помехам от Земли, Луны и т.п.

Всего одна ось, по которой могут стабилизировать аппарат солнечные датчики, не мешает их активному использованию. Во-первых, солнечный датчик можно дополнить другими сенсорами. Во-вторых, у космических аппаратов с солнечными батареями солнечный датчик позволяет легко организовать режим закрутки на Солнце, когда аппарат вращается направленный на него, и солнечные батареи работают в максимально комфортных условиях.
Космические корабли «Восток» остроумно использовали солнечный датчик — ось на Солнце использовалась при построении ориентации для торможения корабля. Также, солнечные датчики были крайне востребованы на межпланетных станциях, потому что многие другие типы датчиков не могут работать вне земной орбиты.
Благодаря простоте и дешевизне солнечные датчики сейчас очень распространены в космической технике.

Инфракрасная вертикаль

Аппараты, которые летают по орбите Земли, часто нуждаются в определении местной вертикали — направления на центр Земли. Фотоэлементы видимого диапазона для этого подходят не очень — на ночной стороне Земля гораздо хуже освещена. Но, к счастью, в инфракрасном диапазоне теплая Земля светит практически одинаково на дневном и ночном полушариях. На низких орбитах датчики определяют положение горизонта, на высоких — сканируют пространство в поисках теплого круга Земли.
Конструктивно, как правило, инфракрасные построители вертикали содержат систему зеркал или сканирующее зеркало:

Инфракрасная вертикаль в сборке с маховиком. Блок предназначен для точной ориентации на Землю для геостационарных спутников. Хорошо видно сканирующее зеркало

Пример поля зрения инфракрасной вертикали. Черный круг — Земля

Отечественные инфракрасные вертикали производства ОАО «ВНИИЭМ»

Достоинства:

• Способны строить местную вертикаль на любом участке орбиты.
• Как правило, высокая надежность.
• Хорошая точность —

Недостатки:

• Ориентация только по одной оси.
• Для низких орбит нужны одни конструкции, для высоких — другие.
• Сравнительно большие габариты и вес.
• Только для орбиты Земли.

Тот факт, что ориентация строится только по одной оси, не мешает широкому использованию инфракрасных вертикалей. Они очень полезны для геостационарных спутников, которым необходимо нацеливать свои антенны на Землю. Также ИКВ используются в пилотируемой космонавтике, например, на современных модификациях корабля «Союз» ориентация на торможение производится только по ее данным:

Корабль «Союз». Дублированные датчики ИКВ показаны стрелками

Гироорбитант

Для того, чтобы выдать тормозной импульс, необходимо знать направление вектора орбитальной скорости. Солнечный датчик даст правильную ось примерно один раз в сутки. Для полетов космонавтов это нормально, в случае нештатной ситуации человек может вручную сориентировать корабль. Но корабли «Восток» имели «братьев-близнецов», разведывательные спутники «Зенит», которым тоже нужно было выдавать тормозной импульс, чтобы вернуть с орбиты отснятую пленку. Ограничения солнечного датчика были неприемлемы, поэтому пришлось придумывать что-то новое. Таким решением стал гироорбитант. Когда работает инфракрасная вертикаль, корабль вращается, потому что ось на Землю постоянно поворачивается. Направление орбитального движения известно, поэтому по тому, в какую сторону поворачивается корабль, можно определить его положение:

Например, если корабль постоянно кренится вправо, то мы летим правым боком вперед. А если корабль летит кормой вперед, то он будет постоянно поднимать нос вверх. С помощью гироскопа, который стремится сохранить свое положение, это вращение можно определить:

Чем сильнее отклонена стрелка, тем сильнее выражено вращение по этой оси. Три таких рамки позволяют замерить вращение по трем осям и развернуть корабль соответственно.
Гироорбитанты широко использовались в 60-80-х годах, но сейчас вымерли. Простые датчики угловых скоростей позволили эффективно измерять вращение аппарата, а бортовая ЭВМ без труда определит положение корабля по этим данным.

Ионный датчик

Красивой была идея дополнить инфракрасную вертикаль ионным датчиком. На низких земных орбитах попадаются молекулы атмосферы, которые могут быть ионами — нести электрический заряд. Поставив датчики, фиксирующие поток ионов, можно определить, какой стороной корабль летит вперед по орбите — там поток будет максимальным:

Научная аппаратура для измерения концентрации положительных ионов

Ионный датчик работал быстрее — на построение ориентации с гироорбитантом уходил почти целый виток, а ионный датчик был способен построить ориентацию за ~10 минут. К сожалению, в районе Южной Америки находится так называемая «ионная яма», которая делает работу ионного датчика нестабильной. По закону подлости именно в районе Южной Америки нашим кораблям надо строить ориентацию на торможение для посадки в районе Байконура. Ионные датчики стояли на первых «Союзах», но достаточно скоро от них отказались, и сейчас они нигде не используются.

Звездный датчик

Одной оси на Солнце часто бывает мало. Для навигации может быть нужен еще один яркий объект, направление на который вместе с осью на Солнце даст нужную ориентацию. Таким объектом стала звезда Канопус — она вторая по яркости в небе и находится далеко от Солнца. Первым аппаратом, который использовал звезду для ориентации, стал «Маринер-4», стартовавший к Марсу в 1964 году. Идея оказалась удачной, хотя звездный датчик выпил много крови ЦУПа — при построении ориентации он наводился не на те звезды, и приходилось «прыгать» по звездам несколько дней. После того, как датчик наконец навелся на Канопус, он стал постоянно его терять — летевший рядом с зондом мусор иногда ярко вспыхивал и перезапускал алгоритм поиска звезды.
Первые звездные датчики представляли собой фотоэлементы с небольшим полем зрения, которые умели наводиться только на одну яркую звезду. Несмотря на ограниченность возможностей, они активно использовались на межпланетных станциях. Сейчас технический прогресс, фактически, создал новый класс устройств. Современные звездные датчики используют матрицу фотоэлементов, работают в паре с компьютером с каталогом звезд и определяют ориентацию аппарата по тем звездам, которые видны в поле их зрения. Такие датчики не нуждаются в предварительном построении грубой ориентации другими приборами и способны определить положение аппарата вне зависимости от участка неба, в которое их направят.

Типичные звездные датчики

Чем больше поле зрения, тем проще ориентироваться

Иллюстрация работы датчика — по взаимному положению звезд по данным каталога рассчитывается направление взгляда

Достоинства:

• Максимальная точность, может быть меньше угловой секунды.
• Не нуждается в других приборах, может определить точное положение самостоятельно.
• Работают на любых орбитах.

Недостатки:

• Высокая цена.
• Не работают при быстром вращении аппарата.
• Чувствительны к засветке и помехам.

Сейчас звездные датчики используются там, где нужно знать положение аппарата очень точно — в телескопах и других научных спутниках.

Магнитометр

Сравнительно новым направлением является построение ориентации по магнитному полю Земли. Магнитометры для измерения магнитного поля часто ставились на межпланетные станции, но не использовались для построения ориентации.

Магнитное поле Земли позволяет строить ориентацию по всем трем осям

«Научный» магнитометр зондов «Пионер-10» и -11

Первый цифровой магнитометр. Эта модель появилась на станции «Мир» в 1998 г. и использовалась в посадочном модуле «Филы» зонда «Розетта»

Достоинства:

• Простота, дешевизна, надежность, компактность.
• Средняя точность, от угловых минут до нескольких угловых секунд.
• Можно строить ориентацию по всем трем осям.

Недостатки:

• Подвержен помехам в т.ч. и от оборудования космического аппарата.
• Не работает выше 10 000 км от Земли.

Простота и дешевизна магнитометров сделала их очень популярными в микроспутниках.

Гиростабилизированная платформа

Исторически, космические аппараты часто летали неориентированными или в режиме солнечной закрутки. Только в районе цели миссии они включали активные системы, строили ориентацию по трем осям и выполняли свою задачу. Но что, если нам необходимо поддерживать произвольную ориентацию длительное время? В этом случае нам надо «помнить» текущее положение и фиксировать свои повороты и маневры. А для этого человечество не придумало ничего лучше гироскопов (измеряют углы поворота) и акселерометров (измеряют линейные ускорения).
Гироскопы
Широко известно свойство гироскопа стремиться сохранить свое положение в пространстве:

Изначально гироскопы были только механическими. Но технический прогресс привел к появлению множества других типов.
Оптические гироскопы. Очень высокой точностью и отсутствием движущихся деталей отличаются оптические гироскопы — лазерные и оптоволоконные. В этом случае используется эффект Саньяка — фазовый сдвиг волн во вращающемся кольцевом интерферометре.

Лазерный гироскоп

Твердотельные волновые гироскопы. В этом случае измеряется прецессия стоячей волны резонирующего твердого тела. Не содержат движущихся частей и отличаются очень высокой точностью.

Вибрационные гироскопы. Используют для работы эффект Кориолиса — колебания одной части гироскопа при повороте отклоняют чувствительную часть:

Вибрационные гироскопы производятся в MEMS-исполнении, отличаются дешевизной и очень маленькими размерами при сравнительно неплохой точности. Именно эти гироскопы стоят в телефонах, квадрокоптерах и тому подобной технике. MEMS-гироскоп может работать и в космосе, и их ставят на микроспутники.

Размер и точность гироскопов наглядно:

Акселерометры
Конструктивно, акселерометры представляют собой весы — фиксированный груз меняет свой вес под воздействием ускорений, и датчик переводит этот вес в величину ускорения. Сейчас акселерометры кроме больших и дорогих версий обзавелись MEMS-аналогами:

Пример «большого» акселерометра

Микрофотография MEMS-акселерометра

Комбинация трех акселерометров и трех гироскопов позволяет фиксировать поворот и ускорение по всем трем осям. Такое устройство называется гиростабилизированной платформой. На заре космонавтики они были возможны только на карданном подвесе, были очень сложными и дорогими.

Гиростабилизированная платформа кораблей Apollo. Синий цилиндр на переднем плане — гироскоп. Видео испытаний платформы

Вершиной механических систем были бескарданные системы, когда платформа висела неподвижно в потоках газа. Это был хайтек, результат работы больших коллективов, очень дорогие и секретные устройства.

Сфера в центре — гиростабилизированная платформа. Система наведения МБР Peacekeeper

Ну а сейчас развитие электроники привело к тому, что платформа с пригодной для простых спутников точностью умещается на ладони, ее разрабатывают студенты, и даже публикуют исходный код.

Интересным нововведением стали MARG-платформы. В них данные с гироскопов и акселерометров дополняются магнитными датчиками, что позволяет исправлять накапливающуюся ошибку гироскопов. MARG-датчик, наверное, самый подходящий вариант для микроспутников — он маленький, простой, дешевый, не имеет движущихся частей, потребляет мало энергии, обеспечивает ориентацию по трем осям с коррекцией ошибок.
В «серьезных» системах для исправления ошибок ориентации гиростабилизированной платформы обычно используют звездные датчики.
Траекторную ошибку, как правило, исправляют системами радиоконтроля орбиты — антенны на Земле по сигналам с аппарата могут очень точно определить его положение и скорость. На низких орбитах для этого недавно появился дешевый аналог — GPS/ГЛОНАСС.

Дополнительные источники информации

Лекция «Проектирование системы ориентации и стабилизации».
Конспект «Датчики ориентации и исполнительные устройства».

По тегу «незаметные сложности» — публикации о ракетах-носителях, стартовых сооружениях, системах ориентации.

Спутник — это очень просто / Хабр

Мы быстро привыкаем к прогрессу. Вещи, которые нам несколько лет назад казались фантастикой, сегодня не замечаются и воспринимаются как всегда существовавшие. Достаточно покопаться в старых вещах, как вдруг найдется монохромный мобильный телефон, дискета, магнитофонная кассета или даже катушка. Не так давно это было. Не так давно и интернет был «по талонам» под скрип модема. А кто-то помнит 5,25″ жесткие диски или даже магнитофонные кассеты с компьютерными играми. И обязательно найдется тот, кто скажет, что в его время были 8″ дискеты и бобины для ЕС ЭВМ. И в тот момент ничего не было современнее, чем это.

В эти недели можно наблюдать традиционные мероприятия, посвященные запуску первого Спутника — началу Космической эры. Силой случая спутник, который должен быть первым, стал третьим. А первым полетел совсем другой аппарат.
Этот текст о том, как просто сейчас услышать спутники на околоземных орбитах и как это было в начале космической эры. Перефразируя известной когда-то книги Е. Айсберга: «Спутник — это очень просто!»

За последние 5-10 лет космос стал ближе к неспециалистам, как никогда. Появление технологии SDR, а затем донглов RTL-SDR открыло легкий путь в мир радио людям, которые к этому никогда не стремились.

Зачем это надо?

Ремарка о радиолюбителях и первых спутникахЕсли для Запада Спутник был большим сюрпризом, то, по крайней мере, советские радиолюбители были предупреждены за несколько месяцев до события.
Взглянув на страницы журнала «Радио» , можно с лета 1957 года найти статьи, как об искусственном спутнике, запуск которого ожидается в ближайшее время, так и схемы аппаратуры для приема сигналов спутника.
Ажиотаж вызванный Спутником был неожиданным, и оказал сильное влияние на такие «не научные» сферы жизни общества, как например, мода, дизайн автомобилей и пр.
The Kettering Group of amateur satellites trackers прославилась в 1966 году, обнаружив советский космодром в Плесецке. Группа наблюдателей возникла в гимназии города Кеттеринг (Великобритания) и первоначально преподаватель с помощью радиосигналов спутников демонстрировал эффект Доплера на уроках физики. В последующие годы группа объединила любителей, специалистов из разных стран. Один из её активных участников — Свен Гран, проработавший всю жизнь в шведской космонавтике (Swedish Space Corporation).

На своем сайте он опубликовал статьи об истории ранней космонавтики, аудиозаписи сделанные в 1960-1980-е. Интересно послушать голоса советских космонавтов во время будничных сеансов связи. Сайт рекомендуется к изучению любителям истории космонавтики.

Любопытство. Хотя «всё можно найти в интернете», немногие задумываются, что с начала это «всё» кто-то помещает в интернет. Кто-то пишет истории, кто-то делает интересные фото, а потом уже это расходится по сети ретвитами и репостами.

Можно по-прежнему слушать переговоры космонавтов, которые особо активны в момент прибытия/убытия экипажа с МКС. Кое-кому удавалось ловить переговоры во время выхода в открытый космос. Не всё показывает НАСА ТВ, особенно потому, что над Россией для НАСА — это слепые зоны полета, а TDRS еще летают не в достаточном количестве. Из любопытства можно принимать погодные спутники NOAA (пример методики) и Meteor (снимки имеют лучшее разрешение пример ) и узнавать несколько больше информации, чем это публикуется в СМИ.

Можно узнать из первых рук, как «поживают» множество cubesat.

У некоторых есть программы для приема и расшифровки телеметрии, другие телеграфируют в явном виде. Примеры можно посмотреть здесь.

Можно наблюдать работу ракет-носителей и разгонных блоков при выводе груза на заданную орбиту. Это же оборудование можно использовать для отслеживания стратосферных зондов. Вот, например, удивительный случай для меня — шар вылетел из Британии 12 июля и на высоте 12 километров уже сделал пару кругосветных путешествий, пролетел на Северным полюсом. Недавно был замечен над Сибирью. Очень мало приемных станций участвующих в проекте.

Собственно, что нужно для приёма?

1. Приемник, работающий в необходимом диапазоне. В большинстве случаев RTL-SDR соответствует достаточным требованиям. Рекомендуются предусилитель, режекторный фильтр. Рекомендуется использовать USB удлинитель с ферритовыми фильтрами — это уменьшит шумы от компьютера и позволит разместить приемник ближе к антенне. Хороший результат дает экранирование приемника.
2. Антенна на выбранный диапазон. «Лучший усилитель — это антенна». Какой бы предусилитель не был бы установлен после антенны, но при плохой антенне будет усиливать только шум, а не полезный сигнал.
3. В случае приема сигнала спутников нужно знать что летает, где и когда. Для этого нужны программы слежения за спутниками, указывающие и предсказывающие положение спутника в определенный момент.
4. Программы для приема и расшифровки телеметрии cubesat или метеорологических спутников.

Особенностью приема сигнала со спутников является расстояние и эффект Доплера.
По теории приема хорошо написано в этом документе со страницы 49 —
Satellite communication Construction of a remotely operated satellite ground station for low earth orbit communication.

Выведенная формула [Eq. 4.10] показывает, что мощность, принятая приемником, напрямую зависит от характеристик излучающей и принимающей антенн и обратно пропорциональна квадрату расстояния между приемником и передатчиком при одинаковой длине волны. Чем больше длина волны, тем меньше излучение рассеивается («Почему небо голубое?»).

Пролетающий над головой спутник находится на расстоянии нескольких сотен километров, а пролетающий на вашем горизонте обзора может находиться на расстоянии пары тысяч километров. Что естественно на порядки уменьшит уровень принимаемого сигнала.

А мощность передатчика не велика, то шансы успешного приема не велики. Например, у FunCube-1 мощность передатчика на освещенной стороне 300 mW, а в тени всего 30 mW.

Какая нужна антенна, и на какой диапазон?

Прежде всего, это зависит от места приема и объектов приема. Если это спутник с полярной орбитой, то рано или поздно он пролетит над приемной станцией. Это метеоспутники, многие cubesat. Если же это, например, МКС, а приемная станция находится в Москве, то МКС будет пролетать только на горизонте. И чтобы провести связь или долго слышать спутник необходимо иметь высокоэффективные антенны. Поэтому необходимо определиться — что доступное летает в досягаемости от места приема.

Какие программы существуют для слежения за спутниками, указывающие и предсказывающие положение спутника в определенный момент?

Online инструменты:
— www.satview.org
— www.n2yo.com

Из программ для Windows: классический Orbitron (обзор программы) и, например, Gpredict.

Последний показывает информацию по частотам спутников. Существуют программы и для других платформ, например, для Android.

Мы же будем использовать Orbitron и информацию о частотах из сторонних источников.

Как программы вычисляют орбиты спутников?

К счастью необходимые данные для расчета орбит (TLE набор элементов орбиты для спутника Земли ) свободно распространяются в интернет и доступны здесь. Вам даже не нужно думать об этом — программы автоматически загружают свежие данные об орбитах космических объектов.
Но так было не всегдаКомандование воздушно-космической обороны Северной Америки (NORAD) ведет каталог космических объектов и на самом деле публично доступный каталог не полный — в ней нет военных спутников США. Ловлей таких объектов занимаются группы энтузиастов-любителей. Иногда им удается найти отсутствующий в открытой базе объект.

Вопрос определения и предсказания орбиты возник еще до запуска спутников. В СССР к решению этой проблемы был привлечен широкий круг наблюдателей и инструментов. В наблюдении и измерении орбиты Спутника, кроме штатных станций траекторных измерений, были привлечены обсерватории и кафедры высших учебных заведений, а выбранный легкодоступный радиолюбительский диапазон позволил привлечь к наблюдениям первых спутников армию радиолюбителей — в журнале Радио 1957 года можно найти схему радиопеленгационной установки, магнитофонную запись с которой радиолюбителю необходимо было выслать в адрес Академии наук СССР. К необычной работе на первом этапе были привлечены пеленгаторы системы «Круг», принадлежащие совсем другому ведомству.

Вскоре больших успехов добились баллистики НИИ-4. Разработанная ими программа для ЭВМ «Стрела-2» впервые позволила определять параметры орбиты не по сведениям от пеленгаторов, а по результатам траекторных измерений, получаемых станциями «Бинокль-Д» на НИПах. Появилась возможность прогнозировать движение спутников по орбите.
Станции траекторных измерений первого поколения «Иртыш» были постепенно заменены новыми станциями «Кама» и «Висла» со значительно более высокими техническими показателями по дальности, точности и надёжности. В 1980-х появились лазерные дальнометры. Почитать подробнее можно здесь.

Станции измеряли орбиты не только «своих», но и спутников любимого вероятного противника. Очень быстро на орбите появились спутники оптической и затем радиоразведки. О том, что они могли разглядеть в далеком 1965 году будет ниже. А пока вспомню анекдотическую историю, о солдатах далекой северной части, вероятно единственным развлечением, которых было соблюдение правил радио- и «оптической» маскировки в момент пролета соответствующих спутников. Однажды перед пролетом американского спутника оптической разведки они, естественно ради забавы, использовали шлак из котельной для написания огромного слова на снегу.

А как же любители поохотиться за спутниками? Им приходилось выслушивать эфир, всматриваться в небо после получения новостей о запуске ракеты с космодрома. Обычно несколько витков после запуска были предсказуемы.

На фото 2000 карт содержащие наборы элементов орбиты для спутников Земли полученные Свеном Граном от NASA в период 1977-1990. Затем их можно было получить по коммутируемому доступу и затем, через несколько лет, в интернет. Свен отсканировал эти карты для тематической группы на Facebook т.к. они содержат наборы элементов, которые отсутствуют в базе Spacetrack.org.

Эти данные использовались для предсказания витков, на которых возможно наблюдение космических объектов.
Естественно никаких компьютеров — только вот эти два трафарета использовались еще 25 лет назад. И к моменту получения TLE данные были не свежими.

Позже для расчета орбит Свен использовал собственноручно написанные программы для ПК.

При полете Спутника КИК еще не имел собственного вычислительного центра, а выделенного машинного времени на ЭВМ других организаций не хватало для всех вычислений, и орбиту Спутника достаточно точно предсказывали специально изготовленными трафаретами.

Итак, мы можем в окне программы Orbitron видеть спутники из открытой базы, они разбиты на категории геостационарные, радиолюбительские, погодные, МКС и т.д. Не все из них представляют интерес для приема, некоторые не работают и представляют интерес только для фотографов ночного неба.

Частоты рабочих спутников можно посмотреть здесь:

Как видно из таблицы, эти спутники в большинстве работают в диапазонах 2 метра и 70 сантиметров.
А здесь их набор элементов орбит (TLE), там же инструкция, как настроить автоматическое обновление этих TLE в Orbitron.

В одних случаях нужна всенаправленная антенна, в других остронаправленная, а в третьих — удобнее воспользоваться двудиапазонной. Узконаправленные, требуют ручного ведения за произвольным спутником, либо позиционер.
Посмотрим, что «используют профессионалы». Фотографии антенн, которые использует и использовал Свен для наблюдения за советскими спутниками и космическими кораблями.
Спиральная антенна 922 МГц — для приема сигналов кораблей Прогресс, Союз ТМА, и на 1020 МГц — разгонных блоков Бриз-М. Антенна зафиксирована в одном направлении на юг т.к. в Швеции корабли видны низко над горизонтом и крутить её нет необходимости. Выше — discone-антенна 100-480 МГц — универсальное применение. Диаграмма направленности горизонтальная. Но при приеме метеорологических, полярных спутников, пролетающих в зените, будут проблемы. Поэтому для таких случаев лучше использовать квадрифилярную антенну на необходимый диапазон.

Антенна «волновой канал» — бывшие телевизионные антенны, также направлены и зафиксированы в одном направлении.

Антенна «волновой канал» 920 МГц предназначалась для мобильных телефонов. Свен Гран собственной персоной.

Если нет подходящей заводской/телевизионной антенны, то можно изготовить что-то простое.

Простая двухдиапазонная ( 70 см и 2 м) антенна:

Простейший вариант квадрифилярной антенны для погодных спутников.

Более капитальный вариант:

Инструкция по изготовлению антенны на 137 МГц для приёма сигналов погодных спутников. Квадрофилярная антенна ( Quadrifilar Helix ).

Какая бы антенна не была общее условие — подальше от препятствий и повыше от земли. Чем более открытый горизонт, тем более продлится сеанс. И не забывайте, что в случае направленной антенны её нужно «направлять» в сторону спутника.

Очень большая ремарка о советских антеннах дальней космической связиРазработка ракет семейства Р-7 шла быстрее, чем спутников, отчасти потому, что «добро» спутникам дали, когда Р-7 уже перешла в стадию летных испытаний. Скорейшее создание третьей, четвертой ступеней позволили достичь второй космической скорости и осуществить полет ракеты к планетам, Луне, облет Луны с возвращением к Земле и попадание в Луну. Времени на проектирование чего либо с нуля не было, использовались готовые устройства и узлы. Например антенная установка станции «Заря» для связи с первыми пилотируемыми кораблями представляла собой четыре спирали, смонтированные на основании от прожекторной установки, оставшейся после войны.

В условиях цейтнота для дальней космической связи были использованы те антенны, что уже были в нужном месте и нужных характеристик. Подробнее о временном центре космической связи можно почитать здесь.

Одновременно с запусками в сторону Луны «рядом» же строились два капитальных центра дальней космической связи с крупнейшими в мире, на тот момент, антеннами космической связи (к слову Центрами дальней космической связи их называли журналисты, реальные же названия другие — НИП-10 и НИП-16, но и это, по некоторым причинам, не совсем корректные названия.).

Построен комплекс тоже из «готовых узлов» и потому возведен в рекордно короткие сроки. Использование орудийных поворотных устройств как основание антенн вызвало у ЦРУ легкое замешательство и некоторое время они считали, что это возводится береговая батарея. Через два года произошел курьез связанный с советским экспериментом на комплексе «Плутон» по уточнению значения астрономической единицы путем радиолокации Венеры. Вероятно чиновники в СССР решили, что значительно уточненное значение астрономической единицы является государственной тайной и исказили опубликованный результат эксперимента. Над неуклюжей попыткой скрыть значение посмеялись астрономы:

we should congratulate our Russian colleagues on the discovery of a new planet. It surely wasn’t Venus!

Антенна, сыгравшая важнейшую роль в изучении соседних планет в 1960-1970х, была порезана на металл Украиной в ноябре 2013-го.
Подробнее почитать о НИП-16
Процитирую Бориса Чертока:
Скрытый текстПо предварительным расчетам для надежной связи с космическими аппаратами, находящимися внутри Солнечной системы, на Земле надо построить параболическую антенну диаметром около 100 метров. Цикл создания таких уникальных сооружений оценивался оптимистами в пять-шесть лет. А до первых пусков по Марсу в распоряжении антенщиков было меньше года! К тому времени уже строилась параболическая антенна симферопольского НИП-10. Эта антенна диаметром 32 метра возводилась для будущих лунных программ. Была надежда, что ее эксплуатация начнется в 1962 году.

Главный конструктор СКБ-567 Евгений Губенко принял смелое предложение инженера Ефрема Коренберга: вместо одного большого параболоида соединить в единую конструкцию восемь шестнадцатиметровых «чашек» на общем опорно-поворотном устройстве. Производство таких средних параболических антенн уже было хорошо освоено. Предстояло научиться синхронизировать и складьшать в нужных фазах киловатты, излучаемые каждой из восьми антенн при передаче. При приеме предстояло складывать тысячные доли ватта сигналов, доходящих до Земли с расстояний в сотни миллионов километров.

Разработка металлоконструкций механизмов и приводов для опорно-поворотных устройств была другой проблемой, которая могла потребовать нескольких лет. Не лишенный чувства юмора Агаджанов объяснил, что существенную помощь космонавтике оказал запрет Хрущевым строительства новейших тяжелых кораблей Военно-Морского Флота. Готовые опорно-поворотные устройства орудийных башен главного калибра строившегося линкора были быстро переадресованы, доставлены в Евпаторию и установлены на бетонных основаниях, сооруженных для двух антенных систем — приемной и передающей.

Шестнадцатиметровые параболические антенны изготавливал Горьковский машиностроительный завод оборонной промышленности, металлоконструкцию для их объединения монтировало НИИ тяжелого машиностроения, приводную технику отлаживал ЦНИИ-173 оборонной техники, электронику системы наведения и управления антеннами, используя корабельный опыт, разрабатывал МНИИ-1 судостроительной промышленности, линии связи внутри НИП-16 и выход его во внешний мир обеспечивало Министерство связи, Крымэнерго подводило линию электропередач, военные строители прокладывали бетонированные автодороги, строили служебные помещения, гостиницы и военный городок со всеми службами.

Масштабы работ впечатляли. Но фронт был столь широк, что с трудом верилось в реальность сроков, которые называл Агаджанов.

Во время разговоров подъехал Геннадий Гуськов. Он был заместителем Губенко, здесь руководил всей радиотехнической частью, но по необходимости вмешивался и в строительные проблемы.

— Обе АДУ-1000, приемная и передающая, будут сданы в срок! Мы не подведем, — бодро доложил он.
— Почему тысяча? — спросил Келдыш.
— Потому что общая эффективная площадь антенной системы -тысяча квадратных метров.
— Не надо хвалиться, — вмешался Рязанский, — общая площадь у вас будет не более девятисот!

Это был спор приверженцев разных идей, но в это время было не до какой-то сотни квадратных метров.

Подробнее о НИП-10.

После очередного посещения временного центра связи в Симеизе Королев и Келдыш по дороге к самолету посещали быстровозводившиеся центры связи. В 1960-м году на НИП-16 вступил в строй радиотехнический комплекс Плутон, через 7 месяцев(!) после начала строительства, став самым мощным в истории человечества на то время.

Через два года на НИП-10 была построена станция дальней космической связи «Катунь» с антенной диаметром 25 метров, вскоре увеличенной до 32.

Члены Государственной комиссии Г.А. Тюлин, С.П. Королёв (с 1966 года Г.Н. Бабакин), М.В. Келдыш придавали особое значение полёту лунных и межпланетных аппаратов. Как правило, после запуска этих КА прибывали на НИП-10 или НИП-16, заслушивали доклады руководства ГОГУ или её групп, а в случае нештатных ситуаций и разработчиков бортовых и наземных технических средств.

Вероятный противник активно интересовался происходящим в советской космонавтике, благодаря чему сейчас можно узнать много интересного из рассекреченных отчетов и спутниковых фото. Тема спутникового шпионажа очень интересна и объемна, желающие могут прочитать, например, The US Deep Space Collection Program.

Вот пример фрагмента спутникового фото и фрагмента схемы из отчета ЦРУ о крупнейшем советском центре космической связи.

Без отчета ЦРУ я бы не догадался, что это антенное поле КВ узла связи, также выполнившее наблюдение первых Спутников.

Осведомленность ЦРУ в некоторых вопросах поражает, причем видно, что это аналитика, а не агентурные сведения и высокий класс инженеров верно интерпретирующих назначение сооружений на фото.

На американском фото площадка станции дальней космической связи «Катунь» с зданиями управления и антенной ТНА-400.
Антенна ТНА-400 склонилась к горизонту и ведет сеанс связи… В центре на верхней границе прямоугольник антенны в виде «антенной решётки» с синфазными спиральными излучателями, это станция передатчика мощностью 10 кВт для связи с лунными кораблями. Выглядела она так:

Дата съемки 5 октября 1965 года. Судя по теням — время до полудня. А днем ранее, утром 4 октября была запущена «Луна-7».

Послушаем Бориса Чертока:

Он оказался прав. Все четыре ступени носителя сработали без замечаний, и пятая отправилась к Луне. ТАСС сообщил о запуске в сторону Луны автоматической станции «Луна-7».
Через сутки все руководители программы и необходимые специалисты снова слетелись в Крым.
В расчетное время была без замечаний выполнена коррекция. После обработки получены данные о движении пятой ступени в расчетный район посадки. Королев, Келдыш, Тюлин поселились в центральной гостинице Симферополя. Рано утром они приезжали на НИП-10, выслушивали мой общий доклад о ночных событиях, затем замечания главных конструкторов по системам и принимали предложения о порядке дальнейших работ по управлению полетом. Последнее обычно делал Богуславский, подробно разъясняя, когда и куда радиокоманда будет выдаваться и как будет обеспечен контроль ее прохождения.

Разрешение сравнимо с тем, что можно увидеть в программе Google Earth, которой пользуемся всего 9 лет и к которой уже привыкли, как существовавшей вечно. Но пленка имеет более широкий динамический диапазон, а фотоснимок распространяется в формате TIFF, поэтому по-моему скромному мнению я вижу на оригинале у U-образного здания два припаркованных автобуса типа ГЗА-651, севернее антенны одиноко припаркованную Волгу, возможно это дежурный авто, и у дорожки ведущей от площадки антенны к «подгорному зданию», в правом нижнем углу снимка, припаркован более крупный легковой автомобиль, возможно ЗИМ Крымского обкома на котором ездили в Крыму Королев и Келдыш. В подгорном здании размещались «управленцы» — группа управления с Б.Чертоком. В любом случае в момент съемки американским спутником Королев, Богуславский, Черток находились в каком-то из зданий на этом снимке. Т.е. любимый противник отлично знал, что нужно фотографировать в Крыму после сообщения ТАСС о запуске лунной ракеты. Именно здесь прошли последние рабочие дни Королева перед трагической гибелью.

Не все фото имеют такое высокое разрешение, на некоторых фото американских спутников-шпионов помещается весь Крым, и разрешение изображения отдельных объектов низкое. Тем не менее фото позволяют установить состояние объектов. Пример 22 июня 1975 года — фрагмент, на котором видно возведение на Второй площадке НИП-16 новой антенны П-400П.

Чуть позже началось строительство крупнейшей в мире полноповоротной антенны П-2500 с диаметром главного зеркала 70 метров. В 1982 году американский спутник KH-9 Hexagon сфотографировал вступивший в строй комплекс.

К сожалению мне не удалось найти не обрезанный оригинал фото — в нижней части снимка, как я предполагаю, видно тень крана строившего эту антенну. По крайней мере, на снимке видно его рельсовый путь, может он также есть на этом фото. При выборе места для строительства нового комплекса дальней космической связи рассматривалось три варианта — Ай-Петринская яйла, Симферополь и Евпатория. По очевидным причинам антенна возведена в самом удачном месте.

Итак, у вас есть антенна необходимого диапазона, она установлена на открытом пространстве и подключена к тюнеру. В идеале с предусилителем. По возможности лучше использовать 2 метра USB удлинителя, чем 2 метра кабеля к антенне.
Рекомендуется провести калибровку RTL-SDR, отклонения по частоте могут быть значительные.

Запускаем любимую программу для работы с RTL-SDR. На экране ниже SDRSharp с FUNCube Dongle Pro.

Ведется прием Cubesat FunCube-1 на квадрифилярную антенну при прохождении спутника у зенита в наиболее выгодный для приема виток.

.

Сигнал не очень хорош, малошумящий усилитель необходим. На спектрограмме видно, что BPSK сигнал прерывается тоном каждые 5 секунд.

Если Вам удалось принять сигнал, то можно переходить к следующему этапу — дешифровке сигнала. В случае FUNCube, необходимо скачать программу Funcube telemetry dashboard

Следуя инструкции настраиваем программу:

И принимаем телеметрию:

Как расшифровывалась телеметрия советских космических аппаратов в первое космическое десятилетиеПроцитирую Бориса Чертока и Олега Ивановского.

8 октября 1967 г., преодолев расстояние свыше 300 млн км, «Венера-4» вошла в зону притяжения планеты. Начался заключительный сеанс связи. По темпу нарастания частоты принимаемого с ОО сигнала ощущалось стремительное увеличение – под действием поля тяготения Венеры – скорости встречи с планетой. Но вот сигнал пропал – набегающий атмосферный поток нарушил ориентацию параболической антенны станции на Землю. В тот же момент бортовая автоматика выдала команду на отделение СА. В небольшом зале Евпаторийского центра управления полетом наступила тишина: все замерли в ожидании сигнала. Томительно медленно электронные часы отсчитывали секунды. Наконец по громкой связи услышали радостный крик: «Есть сигнал с СА!» Через несколько минут начала поступать информация: «Давление 0.05 атм, температура минус 33°С, содержание СО2 в атмосфере около 90%» – и после небольшой паузы: «Информация с радиовысотомера в сбое».
Это наш специалист Ревмира Прядченко, глядя на пролетающую по столу бесконечную ленту с двоичными символами, визуально – не только «персоналок», но и простых электронных калькуляторов тогда еще не существовало – выделяла нужный канал, превращала двоичные символы в число и по заполненным тарировочными характеристиками точно сообщала значение параметра.

***

Одна из помощниц Сергея Леонидовича, чуть наклонилась к экрану индикатора:
— Есть телеметрия. Должен идти первый коммутатор.
— Мирочка на месте? — спросил Бабакин.
— Конечно. Сейчас запросим, что она видит.
…Мирочка. Или, если полностью, — Ревмира Прядченко.
Такое имя ей придумали родители, соединив в нем два слова: «революция» и «мир». Была в минувшие годы такая мода. В группе управленцев Мира была человеком исключительным, обладавшим феноменальной способностью держать в памяти десятки операций, которые надлежало выполнять приборам и системам станции по подаваемым с Земли радиокомандам или от бортовых ПВУ. Пожалуй, как никто иной, она с ходу умела понимать и расшифровывать телеметрические сигналы, порой весьма перепутанные космической разноголосицей радиопомех.
Ей-богу, этот ее дар мог с успехом соперничать с любым автоматическим способом обработки информации. Не раз наши управленцы приводили в недоумение искушенных коллег, заявляя, что де у нас информация с «ВЕНЕР» обрабатывается специальной системой «Мира-1».
— Как это — «Мира-1»?! Нет таких машин. ЭВМ «Мир-1» есть, а «Мира-1»…
— Вот то-то и оно, что у вас «Мир», а у нас «Мира»!
А какие прекрасные стихи писала Мирочка…
Бабакин взял микрофон.
— Мирочка! Добрый день. Ну, что у вас?
— Здравствуйте, Георгий Николаевич! — Она по голосу узнала Главного. — Пока сказать ничего не могу. По телеметрии сплошные сбои. Параметры выделить нельзя.
— Ну, хотя бы что-нибудь…
— Сейчас… минутку… пока только одно могу сказать, но не гарантирую… вот… ДПР не в норме…
Главный опустил руку с микрофоном.
— ДПР… ДПР… Это давление после редуктора?
За столом задвигались. Одновременно некоторая растерянность с озабоченностью появилась на лицах управленцев.
Большой смотрел то на Главного, то на Азарха. Техническое руководство для того и существует, чтобы принимать решения, что дальше делать в сложной обстановке, продолжать ли сеанс или дать выключающую команду?
Сложность была в том, что на борту станции работало программно-временное устройство, беспристрастно выдававшее в нужной последовательности команды-сигналы для ориентации станции и включения корректирующего двигателя. Работало это устройство, и ему невдомек, что какой-то там ДПР не в норме…
— К чему это может привести… к чему… к чему? — задумался на секунду Главный, — к повышенному расходу газа, к избыточной тяге на соплах ориентации, так? Станция может не сориентироваться?
— Георгий Николаич, надо разобраться, — не скрывая волнения, проговорил кто-то из управленцев.
Главный взял микрофон:
— Мирочка, ну что?
А неоновые цифры секундомера отщелкивали секунды и минуты, ставшие какими-то уж очень короткими.
— Разбираюсь, сбои сплошные, пока ничего нового не скажу…
— Выключим станцию, дадим отбой? — Большой вопросительно посмотрел на Главного.
— Отставить отбой. Не волноваться. Пусть сеанс идет.
На индикаторе бился шершавый, лохматый бугорок дальнего голоса станции. Ну почему так, словно по закону «пакости», именно тогда, когда информация была нужнее, чем когда-либо, ее никак нельзя было «выудить» из мутности сбоев и помех?
— А повторить мы можем? Газа в системе ориентации хватит? — Продолжал допрос технический руководитель. — Нет, надо собрать рабочую группу и все тщательно разложить по полочкам, по порядку…
— Да какие «полочки!» В крайнем случае, сеанс коррекции придется повторить…
— А это реально? Газа хватит? Тут требуется все тщательно обдумать. Георгий Николаевич…
Щелкнул репродуктор циркуляра и радостный голос Мирочки, непривычно наполненный звенящими нотками и прерывающийся от волнения:
— Георгий Николаич! Расшифровала! Все в порядке! ДПР — в норме! В норме!
И сразу снялось напряжение. А на часах — 11 часов 03 минуты. И всего-то прошло каких-то 5 минут. Всего пять минут…

По воспоминаниям именно с этим связана гибель «Союз-11», падение давления в котором было сразу зафиксировано на лентах самописцев, но возле них не было такого таланта, чтобы расшифровать налету, поднять тревогу и предупредить экипаж ранее, чем они сами почувствовали фатальное падение давления. К сожалению разработка автоматической системы приема и дешифрования телеметрии еще не была завершена.

При приеме сигнала спутника неизбежно такое явление как эффект Доплера. На спектрограмме это будет выглядеть так:

При приближении спутника к точке приема частота растет и при удалении уменьшается. Такие «рисунки» на спектрограмме позволяют точно определить, что сигнал принадлежит именно движущемуся спутнику, а не наземному источнику помехи. При приеме телеметрии необходимо вручную подстраивать частоту сигнала. Существует возможность автоматически подстраивать частоту и опять в этом поможет программа Orbitron, вычисляющая необходимую частоту и управляя программой SDRSharp или HDSDR.

Настройка SDRSharp и Orbitron.

Настройка HDSDR намного проще. В Orbitron аналогично статье устанавливаем драйвер MyDDE:

В HDSDR — Options\DDE client.

Перед использованием синхронизируем часы по интернету (с ближайшим NTP сервером). Удачной охоты.

Эффект Доплера 50 лет назадПроцитирую еще одни мемуары:

Пульт светится разноцветными огнями—пробегают синие и зеленые импульсы на экранах осциллографов.
— Тик-так, тик-так,—как метроном, щелкает какой-то прибор. Медленно идет время. Ожидание. Озабоченные лица.
Тик-так, тик-так. Долго, долго идет сигнал. Ему ведь предстоит пробежать 78 миллионов километров. 4 минуты 20 секунд уйдет на это… Есть! Есть!
***
На помощь приходит физический эффект Доплера. Как известно, чем больше скорость аппарата, излучающего радиосигналы, тем сильнее смещение частоты этого сигнала. По величине смещения можно определить скорость и устойчивость полета.
Уже семь утра. За окном светает. Счетчики системы настройки частоты, которая все время перестраивает параметры приемной антенны так, чтобы следить за изменением сигнала, возникающим из-за увеличения скорости, начинают частить: значит, все сильнее сказывается притяжение Венеры. Скорость нарастает. До планеты остается всего 15 тысяч километров.
Зуммер почти захлебывается. Быстро растет скорость. Венера все ближе и ближе. В 7 часов 25 минут ушла последняя команда Земли — включить программно-временное устройство. Станция теперь полностью независима.

Что же это за система настройки частоты? Можете представить себе эту систему и её сложность и размеры, если известно что она состояла из множества кварцевых резонаторов отличавшихся друг от друга частотой в ОДИН ГЕРЦ.

маскировка и космические системы слежения

После выхода первой части материала о маскировке войск в современных условиях остались нераскрытыми некоторые аспекты темы, которые вызывают повышенный интерес у большинства читателей. Прежде всего интересен результат, который получает командир части или соединения при проведении мероприятий по маскировке.

И второй вопрос, который анонсировался в первой части, — вопрос об эффективности маскировки в условиях использования космической разведки. Оба этих вопроса сегодня как нельзя более актуальны. В условиях разрушения политической стабильности мира необходимо четко понимать вызовы, с которыми возможно придется столкнуться.

Можно ли нейтрализовать разведку противника

Прежде всего напомню о разделении военной разведки. Подразделения по целям, задачам, способам ведения и масштабам делятся на стратегическую, оперативную и тактическую разведку. На наземную, воздушную, морскую, специальную и космическую разведку. И все силы и средства этих разведок будут использоваться в частях, соединениях и объединениях в разных объемах. Объемы зависят от задач части или соединения.

Увы, но даже при активном противодействии разведке противника, использовании всех мероприятий маскировки и прочего через 5-6 часов разведка вскрывает от 60 до 70% всех объектов противника на всю глубину обороны соединения. Кстати, если эти мероприятия не выполняются или выполняются не в полном объеме, то, как показала война США против Ирака, это происходит уже через 3 с половиной — 4 часа.

К чему это приводит? Отвлечемся от разговоров о маскировке. Посмотрим на наиболее эффективные способы ведения войны в современных условиях. На то, как, например, действуют наши ВС в Сирии. Что мы там видим?

Силовое воздействие, которое было основным видом ведения боевых действий совсем недавно, все больше и больше уступает место бесконтактным способам ведения боя. Современное вооружение, использование дронов, высокоточное оружие и прочие достижения военных конструкторов дают возможность войскам наносить удары по противнику без прямого контакта.

А теперь совместим данные разведки и возможности нанесения ударов по разведанным целям. Получаем прекрасный с точки зрения нападающего результат. Американцы в Ираке одним ударом уничтожали больше 30% объектов противника! При таких потерях даже старшекурсник военной академии понимает, что наступление, если удар нанесен по наступающим, захлебнется. Да и оборона, если удар будет нанесен по обороняющимся, становится проблематичной.

Маскировка и космические системы слежения

И последний вопрос. Как системы космической разведки влияют на современный бой? Так ли критично то, что противник «видит» наши позиции из космоса? Можно ли вообще спрятаться от спутника? Попытки предпринимаются!

Начну с простого. Большинство читателей уверено, что космос позволяет вести с успехом только оптико-электронную разведку. Проще говоря, спутники хорошо научились видеть наземные объекты. Увы, необходимо читателей разочаровать. Кроме оптико-электронных средств разведки, активно используются радиолокационные и РиРТР. Приведу примеры таких аппаратов, имеющихся на вооружении армии США.

ИСЗ типа «Кихоул-11», один из космических аппаратов оптико-электронной разведки США. Работает в видимом и ИК-диапазоне в полосе 1200-1300 км в покадровом и обзорном режиме. Оснащен длиннофокусными оптическими объективами. При покадровой съемке (площадь 2,8 на 2,8 км) контролирует до 400 объектов с разрешающей способностью до 0,1 м. При переводе на обзорную съемку разрешающая способность падает до 0,6 м, но полоса съемки увеличивается до 90 на 120 км.

Примером радиолокационной разведки станет другой ИСЗ — «Лакрос». Оснащен мощной антенной диаметром более 15 м. Разведку производит в полосе 4000 км. При покадровой съемке (площадь 2 на 3 км) имеет разрешающую способность в 1 м. При обзорной съемке разрешающая способность падает до 4-6 м. Система используется круглосуточно и не зависит от погодных условий на Земле.

Ну и ИСЗ РиРТР. Тут практически любой из аппаратов типа «Шале», «Магнум», «Ментор», «Вортекс». Эти ИСЗ позволяют не только перехватывать информацию от наземных средств связи, но и определять координаты источников с точностью до 10 метров. Но есть там и «изюминка» — ИСЗ «Феррет». Аппарат для обзорного просмотра территории противника. Ширина полосы этого ИСЗ — 5800 км. Правда, точность, как и у других ИСЗ при обзорном цикле работы, оставляет желать лучшего: 5-10 км.

Как видите, при существующей системе космического слежения спрятать что-то довольно проблематично. Стационарные объекты, которые создаются в интересах ВС, контролируются уже с момента начала строительства. Вот потому-то и впадают в истерику наши потенциальные противники по поводу мобильных систем СЯС. Потому-то и боятся новых мобильных систем.

В целом же, повторюсь, современным способам маскировки незаслуженно мало уделяется внимания. В скоротечном высокотехнологичном бою счет времени пойдет на минуты и часы. Военная хитрость была, есть и будет одним из элементов победы. Измотать противника, заставить воевать по своим правилам, тратить ресурсы на уничтожение макетов, растянуть коммуникации… А ведь это и есть военное искусство.

GPS / Блог компании Ivideon / Хабр

Люди часто спрашивают меня: «Чем же так хороша теория относительности?». Обычно о ней думают как о некой абстрактной, мистической математической теории, никак не связанной с повседневной жизнью. На самом деле, это совсем не так.

Представьте на минуту, что вы летите в коммерческом авиалайнере, пилот и экипаж которого направляют самолет к месту назначения, пользуясь помощью Системы Глобального Позиционирования (GPS). Более того, многие дорогие автомобили сейчас поставляются со встроенными навигационными системами, включающими в себя GPS-приемники с цифровыми картами, и вы можете купить карманный GPS-навигатор, который будет показывать ваше местоположение (широту, долготу, высоту) с точностью от 5 до 10 метров, весить всего несколько унций и стоить около ста долларов.

GPS была разработана министерством обороны Соединенных Штатов для предоставления спутниковой навигации американской армии. Позже она была передана под совместный контроль минобороны и министерства транспорта для использования как в военных, так и в гражданских целях.

Текущая конфигурация GPS состоит из 24 спутников, вращающихся вокруг Земли на высоких орбитах. Каждый спутник в «созвездии» GPS летает на высоте порядка 20 тысяч километров над землей, его орбитальная скорость порядка 14 тысяч километров в час (орбитальный период около 12 часов — вопреки распространенному мнению, спутники GPS находятся не на геостационарной или геосинхронных орбитах). Орбиты спутников распределены так, что в любой момент времени по крайней мере четыре спутника видимы с любой позиции на Земле (одновременно может быть видно до 12 спутников). Каждый спутник несет на своем борту атомные часы, которые «тикают» с точностью до одной наносекунды (одна миллиардная секунды). GPS-приемник в самолете определяет свое текущее положение и направление путем сравнения сигналов времени, получаемых с разных GPS-спутников (обычно от 6 до 12) и трилатерации по текущему положению каждого из спутников. Так достигается замечательная точность: даже простенький карманный GPS-приемник может определить вашу абсолютную позицию относительно поверхности Земли с точностью от 5 до 10 метров всего за несколько секунд (с помощью разностных техник, сравнивающих два близлежащих приемника, точности порядка сантиметров или миллиметров в относительном положении часто достигаются в течение часа или около того). GPS-приемник в машине и вовсе может получать точные значения местоположения, скорости и направления в реальном времени!

Для достижения такой точности сигналы времени, поступающие со спутников GPS, должны быть известны с точностью 20-30 наносекунд. Однако из-за постоянного движения спутников относительно наблюдателя на Земле, для достижения желаемых 20-30 наносекунд погрешности, необходимо учитывать эффекты, предсказываемые общей и специальной теорией относительности.

Так как наблюдатель на земле видит спутники в движении, специальная теория относительности (СТО) утверждает, что мы должны видеть, будто их часы отсчитывают время медленнее (см. лекцию об СТО). СТО говорит, что бортовые атомные часы на спутниках должны запаздывать по сравнению с земными примерно на 7 микросекунд в день из-за меньшей скорости хода ввиду релятивистского замедления времени.

Кроме того, спутники находятся на орбитах на большом расстоянии от Земли, где кривизна пространства-времени из-за массы Земли меньше, чем на земной поверхности. Прогноз общей теории относительности (ОТО) в том, что ход часов, расположенных ближе к массивному объекту, будет казаться медленнее, чем тех, что находятся дальше от него (см. лекцию о черных дырах). По сути, будучи наблюдаемыми с земной поверхности, часы на спутниках кажутся более быстрыми, чем аналогичные часы на земле. Расчеты, опирающиеся на ОТО, показывают, что часы на каждом спутнике GPS должны спешить относительно земных на 45 микросекунд в день.

Комбинация этих двух релятивистских эффектов означает, что часы на борту каждого спутника должны идти быстрее, чем аналогичные часы на земле примерно на 38 (45 — 7 = 38) микросекунд в день! Звучит как маленькая величина, но высокая точность, требуемая в системе GPS, требует наносекундных погрешностей, в то время как 38 микросекунд равны 38 тысячам наносекунд. Если бы эти эффекты не были приняты в расчет, то координаты, вычисленные на основе облака GPS-спутников, были бы неверными уже через две минуты, а ошибки в глобальных местоположениях продолжали бы накапливаться со скоростью примерно 10 километров в день! Вся система была бы абсолютно непригодной для навигации через очень маленький промежуток времени. Такой вид накапливаемой ошибки сродни поиску моего местоположения, когда я стою на крыльце своего дома в Колумбусе (штат Огайо) в один день, и когда я выполняю такой же поиск неделей позже, мой GPS-приемник говорил бы мне, что я стою на своем крыльце и я примерно на высоте 5 тысяч метров где-то над Детройтом.

Инженеры, проектировавшие GPS, включили эти релятивистские эффекты в свои расчеты во время проектирования и развертывания системы. К примеру, для нейтрализации эффекта, описываемого ОТО, они замедлили ход атомных часов перед их запуском, так что будучи на своих орбитах, они шли бы с той же скоростью, что и эталонные атомные часы на наземных станциях GPS. Кроме того, в каждый GPS-приемник встроен микрокомпьютер, который (помимо прочего) выполняет необходимые релятивистские вычисления в момент определения местоположения пользователя.

Относительность — не просто какая-то абстрактная математическая теория: понимание ее является необходимым условием правильной работы GPS!