И защо е голяма сделка?
"Големи данни" е новата наука за разбирането и прогнозирането на човешкото поведение чрез изучаване на големи обеми неструктурирани данни. Големите данни също са известни като "прогнозни анализи".
Анализирането на публикации в Twitter, Facebook емисии, търсения от eBay, GPS тракери и ATM машини са някои от големите примери за данни. Проучването на видеоклипове за сигурност, данни за трафика, модели на времето, пристигания на полети, дневници за мобилни телефони и устройства за проследяване на сърдечната честота са други форми. Големите данни са разхвърляна нова наука, която се променя ежеседмично и само няколко експерта разбират всичко.
Какви са някои примери за големи данни в редовния живот?
Докато повечето големи проекти за данни са много неясни, има успешни примери за големи данни, засягащи ежедневието на хората, компаниите и правителствата:
Предсказване на появата на вируси: чрез изучаване на социално-политически данни, данни за времето и климата и болнични / клинични данни, тези учени вече предсказват епидемии от треска на денга с 4-седмично предизвестие.
Убийства за убийства: този голям проект отразява жертвите на убийствата, заподозрените и престъпниците във Вашингтон. Както като начин за почитане на починалия, така и като ресурс за осведоменост за хората, този голям проект за данни е очарователен.
Транзитно планиране на пътуванията, Ню Йорк: Университетският програмист WNYC Стив Мелендес комбинира онлайн графика за метрото с програмата за пътуване. Неговото създаване позволява на Нюйоркчаните да кликнат върху местоположението си на картата и ще се появи прогноза за времето за пътуване за влаковете и метрото.
Xerox намали загубата на работната си сила: работата в центъра за повикване е емоционално изтощителна. Xerox е изучил данни с помощта на професионални анализатори и сега те могат да предвидят кои кол центрове да бъдат най-дълго в компанията.
Подкрепящи борбата с тероризма: чрез изучаване на социалните медии, финансовите архиви, резервациите за полети и данните за сигурността, правоприлагащите органи могат да предвидят и да намерят заподозрени в тероризъм, преди да извършват своите зли дела.
Регулирането на маркетинговия маркетинг, основаващ се на социалните медии, преразглежда : хората безпричинно и бързо споделят своите онлайн мисли в кръчма, ресторанта или фитнес клуба. Възможно е да се проучат тези милиони публикации в социалните медии и да се даде обратна връзка на компанията относно това, което хората мислят за услугите си.
Кой използва големи данни? Какво правят с него?
Много монолитни корпорации използват големи данни, за да коригират своите предложения и цени, за да увеличат удовлетвореността на клиентите.
- Универсалният магазин на Macy например използва големи данни, за да коригира цените си в движение за над 70 милиона продукта. Те дори изпращат персонализирани имейли на своите клиенти въз основа на това, което Macy вярва, че се интересуват.
- Полицейският отговор към бомбардировките в бостънския маратон : с помощта на големи данни за изучаване на видео и наблюдение, полицията успя бързо да ограничи търсенето на заподозрените.
- Morton's Steakhouse използва Twitter, за да издърпа маркетинговите каскади, включително известното летище в Ню Джърси, където се доставят пържоли за пържоли и скариди.
- Visa използва големи данни за идентифициране и залавяне на измамниците. Единичните транзакции тук и там лесно могат да прикрият нечестна потребителска кредитна карта, но внимателно наблюдават милиони сделки, могат да бъдат открити модели на измами.
- Facebook използва големи данни, за да приспособи рекламата . Чрез внимателно проучване на вашите предпочитания от ФБ и навици за сърфиране, социалният медиен гигант има зловещ поглед върху вашите вкусове. Тези реклами на страничната лента, които виждате във вашата емисия във Facebook, са избрани от много умишлени и сложни алгоритми, които са видели вашите Facebook навици.
Защо голяма информация е толкова голяма?
4 неща правят големи данни значителни:
1. Данните са масивни. Тя няма да се побере на един твърд диск , много по-малко USB стик . Обемът на данните далеч надхвърля това, което човешкият ум може да възприема (мисли за милиард милиарда мегабайта, а след това да умножи това с повече милиарди).
2. Данните са разхвърляни и неструктурирани. 50% до 80% от работата с големи данни преобразуват и почистват информацията, така че да могат да се търсят и да се ориентират. Само няколко хиляди експерти на нашата планета напълно знаят как да направят това изчистване на данните. Тези експерти също се нуждаят от много специализирани инструменти, като HPE и Hadoop, за да изпълняват своите занаяти. Може би след 10 години големите експерти за данни ще се превърнат в дупка дузина, но засега те са много рядък вид анализатор и тяхната работа все още е много неясна и досадна.
3. Данните се превърнаха в стока **, която може да бъде продадена и купена. Пазарите за данни съществуват там, където компаниите и физическите лица могат да купуват терабайти от социални медии и други данни. Повечето от данните са базирани на облак, тъй като са твърде големи, за да се поберат на всеки един твърд диск. Купуването на данни обикновено включва такса за абонамент, в която се включвате в ферма за облачен сървър.
** Водещите на големите инструменти и идеи за данни са Amazon, Google, Facebook и Yahoo. Тъй като тези компании обслужват толкова много милиони хора със своите онлайн услуги, има смисъл, че те ще бъдат събирателната точка и визионерите зад големите анализи на данни.
4. Възможностите за големи данни са безкрайни. Може би лекарите един ден ще предскажат сърдечни пристъпи и удари за хора седмици преди да се случат. Самолетите и автомобилните катастрофи могат да бъдат намалени чрез предсказуеми анализи на техните механични данни, трафик и климатични модели. Онлайн запознанства може да се подобри, като имате големи данни за предиктори за това кои са съвместими личности за вас. Музикантите могат да разберат коя музикална композиция е най-приятна за променящите се вкусове на целевата аудитория. Хранителните специалисти биха могли да предскажат коя комбинация от храни, купени от магазините, ще влошат или ще помогнат за медицинските условия на дадено лице. Повърхността е само надраскана и откритията в големи данни се случват всяка седмица.
Големите данни са мръсни
Големите данни са прогнозни анализи: конвертирането на масивни неструктурирани данни в нещо, което може да се търси и да се определи. Това е разхвърляно и хаотично пространство, което изисква специален вид познание и търпение.
Вземете например монолитната услуга за доставка на UPS. Програмистите от UPS изучават данни от GPS и смартфони на своите водачи, за да анализират най-ефективните начини за адаптиране към задръстванията. Данните за GPS и смартфоните са гаргатан и не са готови автоматично за анализ. Тези данни се изсипват от различни бази данни от GPS и картите чрез различни хардуерни устройства за смартфони. Анализаторите на UPS прекарват месеци в преобразуване на всички тези данни във формат, който лесно може да бъде претърсен и сортиран. Усилието обаче си заслужава. Днес UPS спести над 8 милиона галона гориво, тъй като те започнаха да използват тези големи анализи на данни.
Тъй като големите данни са разхвърляни и изискват толкова много усилия за изчистване и подготовка за използване, учените се превръщат в прякор "портиер" за цялата досадна работа, която вършат.
Науката за големи данни и прогнозни анализи обаче се подобрява всяка седмица. Очаквайте големи данни, за да станете достъпни за всички до 2025 година.
Големите данни не представляват ли непрекъсната заплаха за поверителността?
Да, ако нашите закони и защитата на личните данни не са внимателно управлявани, значи големи данни се навлизат в личната неприкосновеност. Както е известно, Google, YouTube и Facebook вече следят вашите ежедневни навици онлайн . Животът на смартфона и компютрите ви оставя цифрови отпечатъци всеки ден, а сложни компании изследват тези отпечатъци.
Законите около големите данни се развиват. Поверителността е състояние, в което сега трябва да поемете лична отговорност, тъй като вече не можете да очаквате това като право по подразбиране.
Какво можете да направите, за да защитите личната си информация:
Най-голямата стъпка, която можете да предприемете, е да прикриете ежедневните си навици, като използвате VPN мрежова връзка . Една VPN услуга ще размаже сигнала ви, така че самоличността и местоположението ви да бъдат поне частично маскирани от тракерите. Това няма да ви направи 100% анонимно, но виртуална частна мрежа ще намали значително колко може да спазва света вашите онлайн навици.
Къде мога да науча повече за големи данни?
Големите данни са очарователно за хората с аналитични умове и любов към технолозите. Ако това сте вие, то определено посетете тази страница с интересни проекти за големи данни.