По документам 50 кубов а на самом деле больше: Нужны ли права на мопед (скутер) в 2022 году?

Содержание

Чем отличается мопед от мотоцикла

Основное различие мопеда и мотоцикла — в кубатуре и максимальной скорости. По закону, мопед может иметь двигатель объемом до 50 см³ и разгоняться только до 50 км/ч. Он продается без ПТС, поэтому его не нужно страховать и ставить на учет. Если двухколесное транспортное средство оснащено мотором от 50 см³ и развивает скорость больше 50 км/ч – это уже мотоцикл.

Категория прав

Необходимая категория прав зависит от объёма двигателя мототехники:

«М» – до 50 см³;
«А1» – от 50 до 125 см³;
«А» – от 125 см³.

Открывать категории «M» и «А1» можно с 16 лет, «А» – с 18 лет. Если водитель получает категорию «А», то автоматически открывает «М» и «А1». Также можно управлять мопедом при наличии любой другой водительской категории из указанных в законе «О безопасности дорожного движения» – например, «B», «C» и «D». При этом нужно обратить внимание, что удостоверение тракториста-машиниста права на передвижение на мопеде не дает.

Постановка на учет и страховка

По законам РФ, страховать нужно только те транспортные средства, которые подлежат государственной регистрации. Так как максимальная скорость мопеда 50 км/ч, ставить его на учет не надо. Соответственно, оформлять полис ОСАГО тоже не требуется.

Мотоцикл, в отличие от мопеда, надо застраховать в течение 10 дней с момента покупки и поставить на учет в ГИБДД.

Особенности ПДД для мопедов

На мопеде можно ехать только по правому краю проезжей части, полосе для велосипедистов или обочине, если это не создаст помех пешеходам. Поворачивать налево или разворачиваться разрешено при движении по дороге с одной полосой для движения в одном направлении, на которой нет трамвайных путей. Если полосы в одном направлении две, допускается поворот налево, если он разрешен с правой полосы разметкой или знаком.

Отличие в динамике мопеда и мотоцикла

Придерживаться скорости потока на мотоцикле проще, чем на мопеде – за счет более мощного двигателя. Это делает передвижение более безопасным, так как машины обгоняют реже. Кроме плохой динамики, малокубатурный двигатель мопеда отличается недостаточной тягой на подъемах.

Относятся ли к мопедам питбайки и скутеры

Питбайки к мопедам не относятся. Они считаются спортивным инвентарем, поэтому не могут передвигаться по дорогам общего пользования своим ходом – только в прицепе или багажнике авто. Скутеры до 50 см³ относятся к мопедам, а больше 50 см³ – к мотоциклам.

Мопеды с кубатурой до 50 см³ только по документам

Есть мопеды, которые по документам оснащены двигателем объемом меньше 50³, но на самом деле имеют кубатуру 72 см³ и больше. В теории они позволяют без последствий получить динамику легкого мотоцикла и не заниматься регистрацией техники, а также получением страховки и прав категории А или А1. На практике любой инспектор ДПС может усомниться в соответствии фактического объема двигателя и указанного на бумаге. Далее последует отправка техники на штрафстоянку и назначение экспертизы. Также настоящую кубатуру можно узнать по VIN-номеру. Поэтому предпочтительно купить полноценный мотоцикл с ПТС.

Итог

Мопед отличается от мотоцикла объемом двигателя до 50³, максимальной скоростью до 50 км/ч и худшей динамикой разгона. Его не нужно ставить на учет и страховать. Но при этом он более ограничен в маневрах правилами дорожного движения, чем мотоцикл. Право управлять мопедом дают категории «А», «А1», «B», «C» и «D, а также другие указанные в законе «О безопасности дорожного движения».

«Какая статья подтверждает, что можно ездить на квадроцикле с двигателем объемом меньше 50 кубов без прав? Всем спасибо большое!» — Яндекс Кью

Почему у нас до сих пор нет файлов об убийстве Джона Кеннеди

Журнал

ФБР и ЦРУ до сих пор защищают свои источники шестидесятилетней давности.

Президент Джон Ф. Кеннеди со своей женой Жаклин Кеннеди, сидящей рядом с ним, машет рукой из кортежа за несколько минут до того, как он был застрелен в Далласе, штат Техас, 22 ноября 1963 года. Джим Альтгенс / AP Photo

Филип Шеннон, бывший вашингтонский и иностранный корреспондент New York Times , является автором Жестокий и шокирующий поступок: Тайная история убийства Кеннеди .

Почти ровно через 59 лет после того, как на Дили Плаза раздались винтовочные выстрелы, смертельно ранившие президента и изменившие ход истории, все еще существуют секреты, которые правительство признает, что намерено хранить в тайне об убийстве президента Джона в ноябре 1963 года. Ф. Кеннеди. Более 14 000 секретных документов, так или иначе связанных с убийством президента, частично или полностью остаются запертыми в Национальном архиве, что является явным нарушением духа исторического памятника 1992 закона о прозрачности, который должен был привести к обнародованию практически всех из них много лет назад.

Тот факт, что что-либо об убийстве до сих пор засекречено — и что ЦРУ, ФБР и другие агентства отказались предоставить общественности подробное объяснение, почему — убедил целую армию конспирологов в том, что их цинизм всегда был оправдан.

Недавно обнародованная внутренняя корреспонденция Национального управления архивов и документации показывает, что за кулисами в последние годы велась ожесточенная бюрократическая война за документы, в ходе которых Архивы противостояли ЦРУ, ФБР и другим агентствам, которые хотят их сохранить. секрет.

Переписка, полученная в соответствии с Законом о свободе информации, показывает, что Архив пытался, и часто безуспешно, настаивать на том, чтобы другие учреждения соблюдали закон 1992 года, рассекречивая больше документов. Борьба была особенно ожесточенной в 2017 году, когда тогдашний президент Дональд Трамп встал на сторону ЦРУ и ФБР и согласился отменить якобы конкретный юридический срок в том же году, чтобы обнародовать все секретные документы, связанные с убийством Джона Кеннеди.

В прошлом году президент Джо Байден распорядился еще раз просмотреть документы, чтобы в декабре этого года можно было обнародовать больше. Чиновники, участвующие в процессе рассекречивания, с оптимизмом смотрят на то, что в следующем месяце будет обнародована большая партия документов.

Внутренняя переписка из Архивов помогает разрешить одну затянувшуюся загадку, связанную с документами: в своих переговорах с Белым домом и Архивами в последние годы, как ЦРУ, ФБР, Пентагон и другие агентства оправдывали сохранение каких-либо секретов о превращении точка в американской истории, которая произошла несколько десятилетий назад — событие, которое всегда вдохновляло разъедающие теории заговора о соучастии правительства?

В прошлом эти агентства предоставляли общественности лишь расплывчатые объяснения своих доводов, ссылаясь на потенциальный ущерб национальной безопасности и внешней политике.

Переписка Архивов впервые раскрывает их подробные обоснования, предоставляя редкое окно для рассуждений внутри ЦРУ и ФБР. Это показывает, что во многих случаях ЦРУ и ФБР настаивали на сохранении документов в секрете, потому что они содержали имена и личные данные еще живых информаторов разведки и правоохранительных органов 1960-х и 1970-х годов, которые могли подвергнуться риску запугивания или даже насилия, если они были публично идентифицированы.

Многие из этих источников — уже пожилые, если не близкие к смерти — являются иностранцами, живущими за пределами Соединенных Штатов, а это означает, что американскому правительству будет сложнее защитить их от угроз. ЦРУ также скрыло информацию в документах, в которой указано местонахождение резидентур ЦРУ и конспиративных квартир за границей, в том числе нескольких, которые постоянно использовались после смерти Кеннеди в 1919 году.63.

Переписка Архивов показывает, что, хотя большая часть все еще засекреченной информации имеет лишь косвенное отношение к убийству, некоторая ее часть поступает непосредственно из «основных следственных материалов» ФБР об убийстве президента. Сюда входят все важные дела Ли Харви Освальда, убийцы Кеннеди, и Джека Руби, владельца стриптиз-клуба в Далласе, который убил Освальда через два дня после смерти Кеннеди.

Национальный архив, показанный выше 25 октября, сталкивается с крайним сроком 15 декабря, чтобы обнародовать информацию, извлеченную из тысяч давно засекреченных документов, связанных с 19-летием президента Кеннеди.63 убийство.
|
Фрэнсис Чанг/E&E News/POLITICO

Архивные документы показывают, что ФБР и Управление по борьбе с наркотиками особенно упорно боролись за защиту личности информаторов в расследованиях организованной преступности — аргумент, который заинтригует сторонников теории заговора, считающих, что за смертью Кеннеди стоит мафия. Многие исследователи убийств утверждают, что убийство было ответом на так называемую войну с организованной преступностью, которую вел брат президента, тогдашний генеральный прокурор Роберт Кеннеди.

Фактически, переписка показывает, что подавляющее большинство документов, которые ФБР скрывало от общественности в последние годы, так или иначе касались расследований организованной преступности. Из почти 7500 документов, которые ФБР хранило засекреченными на момент крайнего срока 2017 года, 6000 были из «различных файлов членов организованной преступности или Коза Ностры».

Управление по борьбе с наркотиками обратилось с особым призывом скрыть имена шести конфиденциальных информаторов, идентифицированных в файлах, связанных с убийствами, связанными с расследованиями организованной преступности: «Учитывая хорошо задокументированную склонность мафии к насилию, разумно ожидать, что лица, если живы, по-прежнему подвергаетесь серьезной опасности возмездия за их помощь», — говорится в письме агентства в 2018 году в Архив.

Внутренняя корреспонденция и электронные письма из Архивов были предоставлены журналу POLITICO Magazine Ларри Шнапфом, нью-йоркским юристом, который в прошлом месяце подал федеральный иск против президента Байдена и Национального архива, требуя раскрытия всех все еще засекреченных документов об убийстве. Шнапф, клиентами которого в судебном процессе являются Фонд Мэри Феррелл, группа по расследованию убийств, получил внутреннюю корреспонденцию из архивов по запросу Закона о свободе информации.

Несмотря на то, что сейчас он судится с Национальным архивом, он сказал в интервью, что был впечатлен агрессивностью сотрудников архива в попытке заставить ЦРУ, ФБР и другие агентства соблюдать закон 1992 года, который призывал к рассекречиванию все документы, связанные с убийством, в течение 25 лет — крайний срок истек в октябре 2017 года. Тот факт, что сегодня так много информации остается засекреченной, «лишь подпитывает множество более причудливых теорий заговора» о смерти Кеннеди, сказал он.

Закон 1992 года, Закон о сборе записей об убийствах Джона Ф. Кеннеди, был принят Конгрессом в надежде обуздать огненную бурю теорий заговора, возникшую за год до этого выпуском популярного, пропитанного заговорами фильма Оливера Стоуна «Джон Кеннеди». Кеннеди был убит в результате государственного переворота с участием его преемника, президента Линдона Джонсона. Опросы общественного мнения с конца 1960-х неизменно показывают, что большинство американцев считают, что смерть Кеннеди была заговором — что Освальд, предполагая, что он был убийцей на Дили Плаза в Далласе, действовал не в одиночку.

В результате принятия закона в 1990-е годы были обнародованы миллионы страниц документов, которые переписали элементы истории убийства. Рассекреченные файлы не предоставили убедительных доказательств какого-либо заговора в смерти президента. Но они показали, сколько доказательств — особенно об Освальде — было скрыто ЦРУ и ФБР от Комиссии Уоррена, комиссии Белого дома, возглавляемой главным судьей Эрлом Уорреном, которая в 1964 году пришла к выводу, что Освальд почти наверняка действовал в одиночку.

Некоторые файлы, рассекреченные в результате принятия закона 1992 года, убедительно свидетельствовали, например, о том, что резидентура ЦРУ в Мехико скрыла доказательства своей агрессивной слежки за Освальдом во время его таинственной поездки в столицу Мексики всего за несколько недель до убийства, включая факт, что Освальд хвастался там своим намерением убить Кеннеди. Документы показывают, что, если бы резидентура ЦРУ в Мексике быстро отреагировала на то, что она узнала в сентябре и октябре 1963 года, Кеннеди, возможно, пережил бы свою поездку в Даллас 22 ноября. до сих пор засекреченные документы об убийстве взяты из файлов посольства США в Мексике, в частности резидентуры ЦРУ.

Ли Харви Освальд находится под стражей в полиции вскоре после ареста за убийство президента Кеннеди в Далласе, штат Техас, 22 ноября 1963 года. Два дня спустя Освальд был застрелен Джеком Руби, владельцем местного клуба, когда его переводили в городская тюрьма.
|
АП Фото

В 2013 году штатный историк ЦРУ пришел к выводу, что во время расследования Комиссии Уоррена в 1963 и 1964 годах шпионское агентство осуществляло «благотворное прикрытие» в надежде, что комиссия сосредоточится на «то, что, по мнению Агентства, было «лучшим». правда» — что Ли Харви Освальд по пока еще неустановленным мотивам действовал в одиночку, убив Джона Кеннеди».

Другие правительственные агентства выдвинули различные оправдания для сокрытия информации в до сих пор засекреченных файлах убийства, как показывает недавно раскрытая переписка Архивов.

В 2018 году Министерство обороны сообщило Архивам, что оно продолжит скрывать части 256 секретных документов Пентагона, поскольку они идентифицируют «активные военные планы США, информацию иностранных правительств, конфиденциальную информацию о ядерном оружии, а также личную информацию о военнопленных США и информацию о них». ” Тем не менее, Пентагон заверил архивы, «выявленные записи не имеют прямого отношения к убийству».

В своей переписке с Архивом в 2018 году Государственный департамент потребовал, чтобы части 31 документа держались в секрете из-за «соображений национальной безопасности и иностранных дел», хотя и отметил, что «ни одна из редакций департамента не имеет прямого отношения к убийству Кеннеди. ”

Переписка показывает, что Архив, в котором десятилетиями хранились записи об убийствах, давно предупреждал ЦРУ, ФБР и другие агентства о том, что они не соблюдают требования 19-го92 закона, который разрешал информацию об убийстве Джона Кеннеди оставаться засекреченной только при наличии «четких и убедительных доказательств» «существенного риска причинения вреда» национальной безопасности или внешней политике.

В служебной записке от августа 2017 года Уильям Дж. Босанко, главный операционный директор Национального архива, опротестовал решение ФБР продолжать скрывать имена конфиденциальных источников с 1960-х годов, особенно тех, которые были получены непосредственно из материалов дела на Освальд и Руби. «Эти файлы явно имеют прямое отношение к убийству», — сказал он. Кроме того, отметил он, «трудно представить обстоятельства, при которых человеку может быть причинен вред раскрытием его имени в файле в коллекции JFK».

Но протесты Архива были отклонены Трампом в последнюю минуту. Его решение в октябре 2017 года отменить крайний срок удивило многих в правительстве, поскольку бывший президент на протяжении десятилетий был энтузиастом теории заговора, в том числе в отношении убийства Кеннеди, и однажды пообещал «большую прозрачность» при обнародовании документов.

Во время президентской кампании 2016 года Трамп неоднократно продвигал теорию заговора о том, что отец одного из его противников-республиканцев, сенатора от Техаса Теда Круза, каким-то образом был связан с убийством. 1963 фотография, на которой Освальд стоит рядом с человеком, похожим на отца Круза, когда оба раздают листовки в поддержку кубинского лидера Фиделя Кастро.

Принимая решение придержать тысячи документов, Трамп сказал, что он убежден, что они содержат информацию о национальной безопасности и внешней политике, «столь серьезного характера, что ее немедленное раскрытие перевешивает общественный интерес». Но он не сообщил подробностей о своих рассуждениях; равно как и ЦРУ, ФБР и другие агентства, которые убеждали его заблокировать публикацию.

Согласно закону 1992 года, только действующий президент Соединенных Штатов имеет право удерживать документы после крайнего срока 2017 года, а это означает, что власть теперь полностью принадлежит президенту Байдену. В октябре прошлого года Байден приказал архивам начать всестороннюю проверку все еще засекреченных записей с целью опубликовать как можно больше к новому крайнему сроку 15 декабря.

Укрытый флагом гроб президента Джона Ф. Кеннеди находится в Восточной комнате Белого дома 23 ноября 19 года.63.
|
АП Фото

Но его письменный приказ разочаровал многих историков и исследователей убийств, поскольку Байден, как и Трамп, оставил открытой возможность того, что некоторые документы навсегда останутся засекреченными. В приказе Байдена, опирающемся на формулировку закона 1992 года, говорилось, что он позволит удерживать документы, если их раскрытие может нанести «определимый вред» «военной обороне, разведывательным операциям, правоохранительным органам или состоянию международных отношений, которое является таким серьезность того, что это перевешивает общественный интерес в раскрытии информации».

В заявлении Национального архива для журнала POLITICO Magazine говорится, что недавно он завершил рассмотрение все еще засекреченных материалов и представил свои рекомендации президенту Байдену относительно того, какие документы должны быть обнародованы 15 декабря.

Босанко, сотрудник архива наблюдавший за проектом, сказал в интервью, что недавний межведомственный анализ документов Джона Кеннеди был самым интенсивным за последние десятилетия, включая постраничную проверку, при этом ЦРУ, ФБР и другие агентства были вынуждены обосновать, почему любая информация, включая отдельные имена и адреса — следует по-прежнему скрывать от общественности: «Мы просмотрели каждую редакцию в этих документах». Он сказал, что его команда продолжает переговоры с ЦРУ и другими агентствами в этом месяце в надежде убедить их — до крайнего срока, установленного Белым домом 15 декабря, — снять свое несогласие с обнародованием некоторых все еще засекреченных материалов.

Пресс-секретарь ЦРУ заявила, что агентство тесно сотрудничает с Архивами с целью «раскрыть как можно больше информации в общественных интересах, что соответствует необходимости предотвращения вреда разведывательным операциям». На момент крайнего срока 2017 года ЦРУ полностью утаило 250 записей и отредактировало информацию примерно из 15 000 других документов — в некоторых случаях всего несколько имен или других слов на одной странице, в других случаях — целые блоки текста. Представитель ЦРУ заявила, что в результате усилий по рассекречиванию с 2017 года агентство больше не удерживает никаких документов в полном объеме.

ФБР не ответило на просьбу прокомментировать статус до сих пор засекреченных записей об убийствах.

Чиновники архивов и другие представители правительства годами предупреждали, что общественность не должна ожидать, что во все еще секретных документах будут найдены бомбы — по крайней мере, те, которые можно легко обнаружить. Многие из ранее рассекреченных файлов ЦРУ и ФБР были полны бюрократического жаргона, кодовых имен и непонятных иностранных имен и адресов, что поначалу делало их непонятными даже для опытных исследователей.

И что бы ни решил Байден, около 500 документов и других предметов коллекции останутся секретными, так как закон 1992 года освобождает их от публичного обнародования. Среди них документы, подготовленные большим федеральным жюри и Налоговой службой, в том числе налоговые и трудовые книжки Освальда, Руби и многих их партнеров.

Он также включает магнитофонные записи шести интервью, взятых в 1964 году с Жаклин Кеннеди и бывшим генеральным прокурором Робертом Кеннеди журналистом Уильямом Манчестером, которому семья Кеннеди поручила написать историю убийства. Эти записи были переданы в Архив семьей Кеннеди в обмен на соглашение, что они не будут обнародованы до 2067 года.0093-я -я годовщина публикации в Манчестере бестселлера «Смерть президента». Закон также освобождал от публичного обнародования того, что индекс Архивов описывает как пять «очень личных писем», которые миссис Кеннеди написала президенту Джонсону, в том числе по крайней мере три, которые она отправила ему в течение недели после убийства.

То, что может быть на пленках Манчестера, давно мучает историков и исследователей убийств. Позже он написал в своих мемуарах, что записал 10 часов мучительных разговоров с миссис Кеннеди, в которых она дала подробный отчет о событиях в дни, предшествовавшие убийству, включая описание ужасающей сцены в президентском лимузине, когда раздались выстрелы. на Дили Плаза. «Она ничего не скрывала», — написал он. Он предположил, что интервью в доме миссис Кеннеди в Джорджтауне были терпимыми только из-за коктейлей, которые они пили повсюду. «Будущие историки могут быть озадачены странным лязгом на пленках», — писал Манчестер. «Это были кубики льда. Единственным способом пережить эти долгие вечера были большие емкости с дайкири».

Рубрика:
ЦРУ,
Центральное разведывательное управление,
ФБР,
Национальный архив,
Ли Харви Освальд,
Эрл Уоррен,
Теории заговора,
Джон Кеннеди

Оценка размера таблиц измерений и фактов

Рубрика: Хранилище данных — Винсент Райнарди @ 23:25
Метки: Хранилище данных

В большинстве случаев, когда мы начинали проектирование хранилища данных, как архитектор хранилища данных Менеджеру проекта нужно, чтобы мы сообщили им, каким будет размер хранилища данных, чтобы инфраструктура могла начать процесс закупок, планирования мощностей и т. д. Проблема в том, что мы не знаем размер склада, пока не закончим строительство склада и ETL. .

Ниже я описываю технику, которую использовал для оценки размера таблиц измерений и таблиц фактов. Получив это, вы можете оценить размер промежуточной базы данных на основе размера хранилища (скажем, 30–50 % от размера DW), размера кубов (скажем, 5–10 % от размера DW), размера файлов извлечения. (скажем, 10-20% размера DW).

Таким образом, вы можете оценить требования к диску, что является одной из самых сложных задач, если у вас нет опыта. Я выполнил около 10 проектов по хранению данных, т. е. проектировал и создавал хранилища данных и бизнес-аналитику, и то, что я написал здесь, основано на этом опыте. Конечно, у других архитекторов DW может быть другой опыт, и если да, пожалуйста, поделитесь им, чтобы мы все могли учиться у вас.

Хорошо, начнем с таблиц измерений, затем таблиц фактов.

Оценка размера таблиц измерений

Разделение таблиц измерений на маленькие, средние и большие в зависимости от количества строк в измерении. До 1000 строк — малый размер, от 1 000 до 100 000 строк — средний, а > 100 000 строк — большой размер. Например:

Размер страны: маленький
Размер заказчика: большой
Размер валюты: маленький
Размер даты: маленький
Размер продавца: малый
Размер изделия: большой
Размер сектора промышленности: малый
Размер магазина: средний

Мы можем примерно оценить размер малого/среднего/большого измерения на основе КБ на строку, например:

Малый: 1 КБ/строка x 1000 строк = 1 МБ
Средний: 5 КБ/строка x 100 тыс. строк = 500 МБ
Большой: 10 КБ/строка x 1 м строк = 10 ГБ

Затем умножаем на количество измерений для каждой категории Малый/Средний/Большой, например:

Маленький: 11 таблиц x 1 МБ = 11 МБ
Средний: 6 таблиц x 500 МБ = 3 ГБ
Большой: 4 таблицы x 10 ГБ = 40 ГБ

Итого: 44 ГБ

Затем мы можем перепроверить эти 44 ГБ, используя ежедневный объем данных измерений, поступающих в хранилище данных, чтобы убедиться, что мы не слишком далеки от реальности.

Общий объем данных, каждый день загружаемый ETL в хранилище данных из всех исходных систем: 15 ГБ, включая, скажем, 13 ГБ дельта-загрузки (добавочное извлечение/транзакционное) и 2 ГБ статической загрузки (извлечение всей таблицы). Эти 15 ГБ — это общий объем извлечения данных из всех исходных систем, который обычно составляет около 5-10% от размера исходной системы, если мы можем сделать инкрементное извлечение (используйте 50%, если вы не можете извлечь данные постепенно).
Из всех данных, проходящих через процесс ETL, около 5–10 % составляют данные измерений/статические данные, а 90–95 % — данные фактов/транзакций. Если вы не уверены, какое число взять между 5% и 10%, возьмите 5%. Это потому, что в большинстве случаев это 5%, только в нескольких случаях это 10%. Итак, 5% x 15 ГБ = 0,75 ГБ. Это данные измерения объема, загружаемые в хранилище данных каждый день.
Около 0,1–3 % строк в таблицах измерений обновляются или вставляются каждый день. 3 % для очень активного параметра (например, параметры клиента и продукта), 0,1 % для очень статичного параметра (например, параметры страны и валюты). Таким образом, если в вашем измерении клиентов 10 миллионов строк, каждый день обновляется или вставляется около 300 тысяч строк (3%). Если в параметре страны 200 строк, каждый день обновляется около 0,2 стрки (0,1 %), то есть в среднем 1 строка в неделю.
Таким образом, на основе #2 и #3 мы можем оценить размер измерения. Ежедневно в Хранилище данных поступает 1,75 ГБ данных измерения, что составляет 1,5 % от размера измерения (0,1 % для очень статического измерения, 3 % для очень активного измерения, поэтому среднее значение равно (3 % + 0,1 %)/ 2 = 1,5%). Таким образом, объединенный размер всех таблиц измерений составляет 100 %/1,5 % = 67-кратный дневной объем данных измерений = 67 x 0,75 ГБ = 50,25 ГБ.

Таким образом, один метод дает 44 ГБ, а другой метод дает нам 50,25 ГБ, так что мы не так уж далеко. Мы берем больший из двух методов, который составляет 50,25 ГБ.

Мне не нравится быть расплывчатым или неясным: каков допустимый диапазон для «слишком далеко»?

Ответ. Исходя из моего опыта, если второй метод дает нам 500 ГБ (> в 10 раз больше, чем первый метод), нам нужно подвергнуть сомнению его и проверить еще раз. Но если второй метод в 2-3 раза больше первого метода (132 ГБ), это нормально. Это 3x — предел, сверх 3x мы должны подвергнуть сомнению это.

Оценка размера таблиц фактов

Мы оцениваем размер таблиц фактов на основе объема данных в исходных системах, например:

Допустим, у нас есть 3 исходные системы, 100 ГБ, 10 ГБ и 400 ТБ, всего 510 ТБ. Если мы можем делать инкрементальное извлечение, объем извлекаемых данных составляет около 1-10% от размера исходной системы (это ежедневно). Чем больше исходная система, тем меньше процент, т. е. если исходная система > 1 ТБ, скорее всего, она составит 2-3%, а не 8-10%. Чем новее исходная система, тем больше процент, т.е. если исходной системе 1 год, то он будет ближе к 10%, чем к 1%. Если вы понятия не имеете, не рискуйте, просто возьмите 10%. В данном случае, так как он меньше 1 ТБ, возьмем 9%, при условии, что они совсем новые. Таким образом, ежедневный объем извлеченных данных составляет 9% x 510 ГБ = 46 ГБ в день.
Если вы не можете выполнять добавочное извлечение, используйте 50%. Таким образом, если общий объем исходной системы составляет 510 ГБ, размер извлечения данных (ежедневно) составит 255 ГБ. Крайне маловероятно, что вы вообще не сможете выполнять инкрементальное извлечение. Во всех 10 проектах DW, которые я реализовал, мы могли выполнять инкрементное извлечение для каждого из них. Если бы это был хороший ETL (мы могли бы сделать инкрементное извлечение почти для всех таблиц), то это было бы около 5%. Но если это был плохой ETL (не удалось найти столбцы идентификаторов в некоторых таблицах, необходимых для инкрементного извлечения), то это было что-то вроде 15%. Поэтому, прежде чем использовать 50%, убедитесь, что на самом деле нет ничего, что можно было бы использовать для добавочного извлечения.

Для получения дополнительной информации, пожалуйста, прочитайте мою статью об инкрементном извлечении здесь: ссылка. Я описал 4 вещи, которые мы можем использовать для добавочного извлечения: столбцы временных меток, столбец идентификаторов, триггеры и дату транзакции. Крайне редкий случай, когда в исходной системе нет ничего, что нельзя было бы использовать для добавочного извлечения данных. Если это так, исходная система в любом случае будет маленькой или очень старой. Современные, большие и сложные системы транзакций были построены с учетом постепенного извлечения или, по крайней мере, с уникальным идентификатором строки в каждой таблице. Даже в Хадупе.

Зона приземления и промежуточные столы

Целевая область — это файловая система (каталоги), которая используется для хранения файлов дампа/экспорта данных из исходной системы до их загрузки в хранилище данных. Вместо использования файлов мы можем хранить дамп данных из системы хранения в промежуточных таблицах. Промежуточные таблицы — это таблицы в промежуточной базе данных. У них нет ни индексов, ни первичных ключей. Обычно они обрезаются перед каждой загрузкой. В современных СУБД, таких как SQL Server 2014, промежуточные таблицы находятся в памяти, поэтому их загрузка и чтение выполняются намного быстрее, чем таблицы на диске.

Чтобы оценить размер посадочной площадки, мы умножаем ежедневный объем извлечения данных на количество дней, в течение которых мы хотим хранить данные. В этом примере предположим, что мы хотим хранить извлеченные данные объемом 46 ГБ в день (см. № 1 выше) в течение недели (5 дней). Значит объем посадочной площадки 5 х 46 ГБ = 230 ГБ. Те же принципы расчета применяются для расчета промежуточных таблиц.

Промежуточные таблицы фактов

Иногда для данных фактов требуются промежуточные таблицы. Например, для выполнения группировки и расчета децилей. Или для подсчета баллов лояльности. Таким образом, фактические данные передаются на уровень промежуточных таблиц до того, как они будут загружены в окончательные таблицы фактов. Это связано с тем, что для выполнения этой операции нельзя выполнить «однопроходный» SQL. Сначала данные должны быть помещены в таблицу, затем выполняется второй проход. Причина, по которой это не делается во временной таблице, заключается в том, что

Объем данных большой, например, 500 миллионов строк точек измерения погоды в день. Использование временной таблицы повлияет на производительность других потоков в хранилище.
Требуется сравнение сегодняшних данных с предыдущими днями. Если мы используем временную таблицу, мы потеряем данные за предыдущие дни. Имея постоянную таблицу, нам не нужно снова восстанавливать данные предыдущих дней.

Без моделирования данных, как мы можем оценить размер промежуточных таблиц фактов? Взяв процент от данных за день, например: данные за один день составляют 46 ГБ. Из них 10 % составляют данные измерений, а 9 –0% — это фактические данные. Таким образом, фактические данные составляют 41,4 ГБ. Из этих 41,4 ГБ фактических данных большая часть не требует промежуточных таблиц фактов. Только 10-20% требуют двойного прохода (или тройного прохода). Взяв максимум на всякий случай (20%), 20% x 41,4 ГБ = 8,3 ГБ. Это размер промежуточных таблиц для обработки данных фактов.

Итоговые таблицы фактов

Основной вопрос заключается в том, как оценить размер таблиц фактов без их предварительного проектирования. Так что на данном этапе проекта мы еще не знаем, будут ли у нас FactAccountBalanceSnapshot, FactPremiumTransaction и т. д. Мы не знаем, сколько таблиц фактов и что они из себя представляют. Еще.

Один из подходов состоит в том, чтобы посмотреть на размер фактических данных, которые ежедневно поступают в хранилище. Мы знаем, что это 46 ГБ (см. пункт 4 выше). Когда эти данные загружаются в многомерную модель, их становится около 20-40%, потому что текстовые столбцы помещаются в измерения, а в таблицах фактов остаются только числовые столбцы. Текстовые столбцы занимают большую часть места в строке.

Большинство таблиц фактов не являются периодическими снимками, только 1-2 из них являются транзакционными. Это связано с тем, что бизнесу обычно необходимо анализировать изменения показателей за определенный период времени. Накопление таблицы фактов снэпшотов также происходит редко, обычно только 1 или 2 в пределах всего хранилища. Соотношение примерно 80-90% по количеству таблиц и около 95% по объему данных (ГБ). 95% ГБ фактических данных находится в таблице фактов снимка. Транзакционные таблицы фактов очень малы по сравнению с периодическими таблицами фактов моментальных снимков, потому что они не повторяют данные каждый день.

В приведенном выше случае, предполагая, что мы сделали снимок всех входящих данных фактов, объем таблиц фактов периодического снимка будет 46 ГБ x 30%* x 5 дней x 52 недели = 3,6 ТБ в год. Но только 95 % (3,42 ТБ) приходится на периодические таблицы фактов моментальных снимков, а 5 % (0,18 ГБ) — на транзакционные и накопительные таблицы фактов моментальных снимков.

*30% — среднее значение между 20% и 40%, соотношение, когда необработанные данные фактов загружаются в многомерную модель.

Обычной практикой является то, что по прошествии 1 года мы не храним ежедневные снимки. Но либо еженедельный снимок, либо ежемесячный снимок. Это что-то вроде: ежедневный снимок за последний 1 год, еженедельный снимок за последние 2-3 года, затем ежемесячный снимок за последние 3-10 лет. Таким образом, количество снимков составляет 5 x 52 = 260 за последний 1 год, 2 x 12 = 24 снимка за последние 2–3 года и 7 x 12 = 84 снимка за последние 3–10 лет. 260 + 24 + 84 = 368 снимков.

Таким образом, для хранения данных за 10 лет в таблицах фактов потребуется 46 ГБ x 30% x 95% x 368 = 48,2 ТБ.

Факторы инфраструктуры

В зависимости от выбранной СУБД нам потребуется добавить или вычесть место для индексов, файлов журналов, коэффициента заполнения и сжатия базы данных. Exadata может сжимать данные до 20% от исходного объема. В ссылке указано 10%, но на самом деле 33% (см. статью Офира здесь: ссылка).

В SQL Server и Oracle (и я полагаю, что в других СУБД, не использующих MPP, таких как DB2) пространство для индексов в среде DW обычно составляет 20–40% данных.

Posted inПопулярное