Эпидемия в Европе все. Наступает время собирать камни.

К сожалению некоторые читатели воспринимают факты противоречащие выстроенной картине мира чуть ли не как оскорбление. Зачастую это происходит под влиянием эмоций и мешает воспринимать полезную информацию. Причем иногда это приобретает самые причудливые формы, например, один уважаемый читатель высказывает мысль в духе - разве может серьезный источник показывать спад, т.е. иными словами "опровергать выстроенную для меня картину мира"? Увы, подвергание сомнению выстроенной системы рассуждений довольно трудозатратное мероприятие, но несет тем не менее плюсы. В частности, спустя несколько месяцев, когда некоторые из них вдруг начнут терять работу или обнаружат, что зарплата/премия снизилась, они возможно припомнят, как яростно противились высказыванию альтернативных точек зрения и топили за самые радикальные меры. А ведь могло бы быть все не так печально и болезненно, если бы реакция оказалось адекватной угрозе. Поэтому если вам более важно понимание фактов и логики, чем ощущение собственно правоты, то имеет смысл читать дальше.

Итак, тенденция окончания взрывного роста в Европе подтверждается. То что это не экспонента стало ясно сразу, как ВОЗ показала падение числа заражений в день и стабилизизация была лишь вопросом небольшого времени. В комментариях к предыдущему посту было много ссылок на другие источники, однако теперь когда тенденция стала очевидна большинству это видно практически по всем данным. Например ниже данные ВОЗ без США и Африки:

Collapse )

Коронавирус - паника скоро закончится и что от нас скрывают (власти/международные организации/СМИ)

1. Вчера впервые число заболевших в Европе упало. Это очень хороший и ожидаемый сигнал. Единственное, что омрачает - остается открытым вопрос насколько будет устойчива вспышка в США:


2. Глядя на эти графики 99.99% людей не задумывается о том, что есть ложь и есть статистика. А мы давайте задумаемся, вот если к примеру вчера было выявлено 100 заболевших, а сегодня 200, точно ли это значит что эпидемия набирает обороты? А что если вчера было сделано 1000 тестов, а сегодня 3000? Думаете это преувеличение? А никого не смущает, что днем с огнем не найти информации о том, сколько было сделано тестов и сколько из них оказались негативными? Я с большим трудом раскопал такую информацию по Франции и тут ужасно все.
Collapse )

Ежегодная динамика сезонных вирусных заболеваний в мире

Еще пара графиков для полноты картины. Это не значит что диагностика короновируса будет сейчас снижаться. Это значит что против его распространения действует тот же самый сезонный фактор что и на другие вирусы.



И если поближе:
Collapse )

Акции. Нефть. Смерть.

Год назад писал почему я закрыл лонги и что "это не значит, что завтра будет обвал или даже что он будет через год".
Теперь конечно большинство будет думать, что это все из-за короновируса, но это лишь последняя капля и если бы не вирус, то нашлось бы что-нибудь еще. Вполне возможно спад начался бы позже, но в любом случае он назрел. Просто каждый раз почти всем наглухо отшибает память и почему-то кажется что на этот раз такая низкая безработица уж точно не  закончится рецессией) Ну и другие симптомы тоже в игноре.

Так что по фонде я думаю будет примерно следующее. Все эти ограничительные меры слегка ударят по экономике: туристы/карантинисты сидят дома, булочники тоже без выручки и пошла цепочка сокращений, затягивания поясов и т.д. То как припала нефть и фонда означает, что восторженный фон уже угас, банкет заканчивается и рост будет использоваться крупняком для закрытия позиций. Это будет провоцировать новые продажи, короче классика. Моя МТС говорит, что надо ждать, время для покупкок будет позже.

Насчет нефти, то что происходит прекрасный пример того, как на самом деле устроен рынок. В долгосрочной перспективе - баланс спрос и предложения. В краткосрочной - ожидания будущего баланса и немного спекулятивных метаний. Мои постоянные читатели помнят, что когда нефть была по 40, я доказывал расчетами, что будет 75 и так оно и вышло. Теперь стоит поговорить о будущем, на этот раз без излишней конкретики,  т.е. тезисно:
Collapse )

Действительно понятное объяснение квантовой запутанности (парадокса ЭПР)

Понятное для тех, кто захочет разобраться, конечно. Пост состоит из трех частей. Для понимания сути явления, достаточно ознакомиться только со второй частью.


1. Вводная (зачем, да почему)

2. Конкретные расчеты

3. Философско-практическая часть.

1. Вводная (зачем, да почему)


Сподвигло меня на этот пост следующее обстоятельство. В инете достаточно много материалов на эту тему. Однако 80% процентов из них страдают трагическим недостатком – они достаточно подробно рассказывают, почему классическая логика не права и ограничиваются констатацией факта, что в квантовой механике все по-другому и наблюдения соответствуют предсказанным ей значениям. Остававшаяся часть грузит математическим аппаратом и после вереницы формул говорит – ну вот видите, будет вот так-то. После этого возникает ощущение боли от изнасилования мозга, ибо реального удовольствия понимания при этом не возникает.

А понимания хочется, т.к. по моему глубокому убеждению, все-таки следующий революционный скачек технологий, будет связан с овладением человечеством квантовой мощью. И подобно тому, как в 60-х люди даже вообразить не могли, как эти громадные железки занимающие целые подвалы, изменят нашу жизнь, радикально уменьшив размеры и увеличив мощь, так и сейчас мы не представляем себе весь потенциал неуклюжих прототипов с 50 кубитами.

Collapse )

Neuronomics. Идея для стартапа 2030 года.

Пять лет назад меня осенила идея. Я решил смоделировать ни много ни мало мировую экономику, для того чтобы точно знать какую динамику ожидать от акций, облигаций, курсов валют и т.д. Была только одна маленькая проблемка, модели всего этого не существует. И хуже того, экономисты десятки лет спорят, какая из их куцых эконометрических моделей хотя бы приблизительно верно описывает эти сложнейшие процессы. Поэтому, вместо попыток натянуть выдуманную (и конечно безумно упрощенную) модель на многоликую реальность я вступил на концептуально иной путь – моделировать агентов на микроуровне, чтобы они в изнуряющей борьбе за выживание, путем проб и ошибок приходили к равновесному состоянию, которое на макроуровне выражается в динамике цен, ставок и т.д.

Результат моих исследований описан ниже. Для визуализации записал движение агентов и каждый пиксель в этом видео, скрывает за собой нейросеть, т.е. мозг агента, бьющегося за выживание в конкуренции с подобными себе в жестоком мире наживы и чистогана.




Зачем это вообще нужно легко понять, например, по актуальным сейчас спорам вокруг «торговых войн». Одни (в основном профессиональные экономисты) говорят, что тарифы вредят в конечном итоге экономике в целом. Другие же думают, что страна окажется в выигрыше.

Проверить и доказать на фактах тут ничего нельзя, ведь никто не может поставить эксперимент при прочих равных на одной и той же экономике. Тогда как описанный ниже метод позволяет контролировать условия и получить доказательство наличия или отсутствия выгод того или иного решения.

Содержание:

1. Общее описание концепции
2. Описание реализации прототипа (PoC)
3. Направление развития

Продолжение тут: https://habr.com/ru/post/465747/

Почему я закрыл лонги или как поживает Фундаментальная МТС

Давние мои читатели наверное помнят, что в 2010 я публиковал серию постов с с тегом "Фундаментальная МТС". Поначалу обновлял прогноз каждый квартал, однако так как она в натуре фундаментальная, то как там было "strong buy" там так и оставалось годами. Ну и собственно с тех пор индекс SP500 рос и рос (+125%).

Теперь это уже естественно, а тогда весьма уважаемые мной аналитики писали, что это пузырь и т.д. Однако всему приходит конец и вот, спустя 10 лет, по моим расчетам, лавочка таки прикрывается. Это не значит, что завтра будет обвал или даже что он будет через год. Просто загас тот драйвер, который по моим расчетам толкал цены вверх и теперь нас вероятнее всего ожидает стагнация, т.е. боковичок. Так что при падении индекса на существенную величину и без реальных признаков проблем в экономике вполне возможно зайти в короткий лонг, однако это уже надо смотреть по ситуации.

Соответственно я на прошлой неделе зафиксировал прибыль и перехожу в режим ожидания. В чем заключается МТС  я, конечно, рассказывать бесплатно не планирую, однако общеизвестные и очевидные вещи стоит отметить:
Collapse )

Теория и практика использования HBase

Запилил статейку на хабре:

--

Добрый день! Меня зовут Данил Липовой, наша команда в Сбертехе начала использовать HBase в качестве хранилища оперативных данных. В ходе его изучения накопился опыт, который захотелось систематизировать и описать (надеемся, что многим будет полезно). Все описанные ниже эксперименты проводились с версиями HBase 1.2.0-cdh5.14.2 и 2.0.0-cdh6.0.0-beta1.
-
1. Общая архитектура
2. Запись данных в HBASE
3. Чтение данных из HBASE
4. Кэширование данных
5. Пакетная обработка данных MultiGet/MultiPut
6. Стратегия разбивки таблиц на регионы (спилитинг)
7. Отказоустойчивость, компактификация и локальность данных
8. Настройки и производительность
9. Нагрузочное тестирование
10. Выводы

Грузим терабайты бочками или SparkStreaming vs Spring+YARN+Java



В рамках проекта интеграции GridGain и хранилища на базе Hadoop (HDFS + HBASE) мы столкнулись с задачей получения и обработки существенного объема данных, примерно до 80 Тб в день. Это необходимо для построения витрин и для восстановления удаленных в GridGain данных после их выгрузки в наше долговременное хранилище. В общем виде, можно сказать, что мы передаём данные между двумя распределёнными системами обработки данных при помощи распределённой системы передачи данных. Соответственно, мы хотим рассказать о тех проблемах, с которыми столкнулась наша команда при реализации данной задачи и как они были решены.

Так как инструментом интеграции является кафка (весьма подробно о ней описано в статье Михаила Голованова), естественным и легким решением тут выглядит использование SparkStreaming. Легким, потому что не нужно особо беспокоиться о падениях, переподключениях, коммитах и т.д. Spark известен, как быстрая альтернатива классическому MapReduce, благодаря многочисленным оптимизациям. Нужно лишь настроиться на топик, обработать батч и сохранить в файл, что и было реализовано. Однако в ходе разработки и тестирования была замечена нестабильность работы модуля приема данных. Для того чтобы исключить влияние потенциальных ошибок в коде, был произведен следующий эксперимент. Был выпилен весь функционал обработки сообщений и оставлено только прямое сохранение сразу в avro:

JavaRDD<AvroWrapper<GenericRecord>> map = rdd.map(messageTuple -> {
SeekableByteArrayInput sin =
new SeekableByteArrayInput(messageTuple.value());
DataFileReader dataFileReader =
new DataFileReader<>(sin, new GenericDatumReader<>());
GenericRecord record = (GenericRecord) dataFileReader.next();

return new AvroWrapper<>(record);
});

Timestamp ts =
new Timestamp(System.currentTimeMillis());
map.mapToPair(recordAvroWrapper ->

new Tuple2<AvroWrapper<GenericRecord>, NullWritable>(recordAvroWrapper, NullWritable.get()))
.saveAsHadoopFile(
"/tmp/SSTest/" + ts.getTime(),
AvroWrapper.class, NullWritable.class, AvroOutputFormat.class, jobConf);


Продолжение: https://habr.com/company/sberbank/blog/358786/

75. Распишитесь в получении.


Сейчас сел просматривать записи и комментарии в них. Лютый ад, местами)
Многие конечно вполне нормально воспринимают информацию, но кого-то прямо корёжит если ожидания не совпадают с прочитанным. Причем занятно наблюдать в действии эффект вытеснения нежелательной информации из сознания. Во всех своих прогнозах я вставлял принципиальное условие:

"Если же предположить, что ОПЕК будет придерживаться договоренностей, реальная цена вероятно достигнет уровня $75"

"расчет баланса спроса/предложения (и как производной - цены), основывался на предположении, что ОПЕК не превысит квоту 30 мбд"

Когда ОПЕК взялся за ум и перестал наращивать производство, цена вышла на расчетный уровень.

Но до тех пор, чего только тут не писали. И про то, что цены на самом деле формируются на рынке фьючерсов (очевидно согласно тайным соглашениям бильдербергского клуба). И про то что теперь все оборудование выкупят у банкротов за копейки и начнут юзать его в хвост и гриву втаптывая цены в пол невзирая ни на что. Или совсем незатейливое: Самым лучшим прогнозом в каждый момент времени является утверждение "цена будет такой же, как сейчас".

Конечно, такие рассуждения весьма эффективны в плане экономии мыслительной активности. Зачем выкачивать данные по тысячам скважин, строить модели, анализировать балансы и т.д., когда всему есть простое и понятное объяснение.

Еще забавляют такие персоны, которые ведут себя так, как будто им кто-то что-то по жизни должен. Уважаемая Валентина, я вам ничего не обещал, окститесь. Я потратил свое личное время на то, чтобы рассказать вам о своих мыслях абсолютно бесплатно, т.е. даром. Нормальной человеческой реакцией будет или игнорирование, если знаете тему лучше, или благодарность за расширение кругозора, даже если в чем-то не совсем согласны.

Однако к счастью большинство комментариев, конечно, были корректные по форме, с интересными мыслями по существу и это очень приятно. Хочу поблагодарить вас за участие, ради таких собеседников я собственно и писал эти статьи)

На данный момент нет особого настроения писать по этой теме, может быть потом, посмотрим.
Пока что тезисно повторю только основные моменты, которые позволяют понимать, как на самом деле формируется долгосрочная цена. Как говорится, знание нескольких принципов избавляет он необходимости знать множество фактов.

1. Баланс спроса и предложения. Понимая этот механизм вы не дадите запудрить себе мозги теорией заговора пришельцев с Нибиру. Если рынок не монополизирован, то все в конечном счете решается через вот такие графики:


Просто удивительно, насколько не очевидно это для многих, даже весьма интересных авторов, например как pound_sterling. Например я как-то обсуждал такую фразу: "Дороже $80 стоит добыча только 2,8% нефти, которая поступает на рынок". Как говорится в одной песне "Я как в магазине все за 1 доллар, а у меня, ..., 99 центов". В общем рекомендую ознакомиться с этим постом, для прояснения этой темы supply/demand.
Collapse )