??? ????? Big Data ? ??? ? ???? ?????????

Big Data ???????? ????? ??????? ????????, ??????? ?????????? ???????????? ???????? ????????? ??-?? ???????? ???????, ???????? ??????????? ? ???????????? ????????. ??????????? ??????????? ????????? ????????? ????????? ?????? ?? ????????????? ????????.

??????? ? ????????????? ??????? ???????? ????????? ?????. ????????????? ?????????? ???????????? ? ?????????????. ????? ?????? ??????? ?? ???????????. ????? ????? ??????????? ???????? ????????? ??? ????????? ?????????. ??????????? ??? — ??????????? ??????????? ??? ???????????? ???????.

?????????? Big Data ????????????? ???????????? ????????? ???????????? ?????. ????????? ???????? ????????? ?????????????? ??????????. ?????????? ??????? ?????????? ?????????? ?????? ?????? ? ?????? ?????????? ???????. ???????? ?????????? ?????????? ???????? ??? ??????????? ???????????.

??????? ????????? Big Data

????????? ??????? ???????? ???????????? ?? ???? ??????? ???????????????, ??????? ??????? ????? V. ?????? ??????????? — Volume, ?? ???? ??????? ??????. ??????????? ???????????? ????????? ? ????????? ?????? ?????????. ?????? ???????? — Velocity, ???????? ???????????? ? ?????????. ?????????? ??????? ?????????? ???????? ??????? ?????? ???????. ?????? ??????????? — Variety, ???????????? ???????? ??????????.

??????????????????? ?????? ????????? ? ???????? ? ??????? ????????? ? ??????. ??????????????????? ?????????? ?? ???????? ?????????????? ????????????? ?????????. ??????????, ???????????, ????????? ????? ???????????? ? ???? ??????. ????????????????????? ???????? ???????? ????????????? ?????????. XML-????? ? JSON-????????? ?????? ???????? ????? ??? ?????????????? ??????.

??????????? ??????????? ?????????? ??????????? ?????? ?? ????????? ????? ???????????. ???????? ????????? ???????????? ??????????? ??? ????????????? ?????????. ???????????????? ???????????? ????????? ?????????? ?????????????????? ??? ???????? ?????????. ?????????????????? ??????????? ??????????? ?????????? ??? ?????? ?? ????? ?????????. ???????????? ????????? ??????? ?????? ?? ?????? ????? ??? ??????????? ???????????? ? ???????????? ??????????.

?????? ???????????? ????????

??????????? ??????????? ????????? ???????? ?? ????????? ???????. ?????? ????? ?????????? ?????????????? ???? ?????????? ??? ??????????????? ?????????.

???????? ?????? ??????? ???????? ????????:

• ?????????? ???? ?????????? ????????? ??????????, ????????, ?????? ? ?????????? ? ?????????? ????????????. ????????? ????????? ?????, ??????? ? ???????????.
• ???????? ????? ??????????? ????? ???????, ??????? ? ??????????. ??????????? ?????????? ??????????? ???????????? ????????. ???????????? ?????????? ??????????? ???????? ? ??????????? ? ??????????????.
• ?????????????? ??????? ?????????? ????????? ???????? ? ???????. ?????????? ??????? ???????????? ??????????. ??????-???????? ?????????? ?????? ??????? ? ???????????? ???????????? ?????? ?????? ??? ????????? ???????????.
• ???-??????? ??????????? ??????? ???????, ????? ? ????????? ?? ????????. ????????? ?????? ????????? ??????? ????????.
• ????????? ??????? ?????????? ?????????????? ???????? ? ?????????? ?? ?????????? ???????.

??????? ????????? ? ???????? ??????????

????????? ???????? ?????????? ???????????? ??????????????? ???????????????? ?????????. API ???? ???????? ????????????? ????????? ?????????? ?? ????????? ??????. ???-????????? ???????? ???????? ? ??????. ????????? ?????????? ??????????? ?????????? ??????????? ?????????? ?? ??????????? ? ?????? ????????? ???????.

??????? ?????????? ???????????? ?????????? ??????? ?? ????????? ?????. ??????????? ???? ?????????? ?????? ? ???????? ?? ???????. NoSQL-????????? ?????????? ???????????? ????????? ??? ??????????????????? ??????????. ???????????????????????? ????????? ?????????? ?????? ? ???? JSON ??? XML. ???????? ??????? ???????????? ?? ???????? ?????? ????? ?????? ?????? ?????? ??? ???????????? ?????????? ?????.

??????????? ???????? ??????? ????????? ?????????? ?? ????????? ????????. Hadoop Distributed File System ????????? ?????? ?? ????? ? ???????? ?? ??? ????????????. ???????? ????????? ?????????? ?????????? ?????????. Amazon S3, Google Cloud Storage ? Microsoft Azure ??????????? ?????????? ?? ???????????? ??????? ????.

??????????? ??????????? ??????????? ? ????? ???????????? ??????. ??????? ????????? ?????????? ?????? ? ??????????? ?????? ??? ???????????? ?????????. ????????????? ????????? ??????? ???????????? ?????? ?? ??????? ??????????.

???????? ????????? Big Data

Apache Hadoop ???????????? ????? ????????? ??? ???????????? ??????????? ???????? ??????. MapReduce ????? ???????? ?? ????? ????? ? ?????????? ????????? ??????????? ?? ???????????? ?????. YARN ????????? ?????????? ???????? ? ????????? ?????? ????? ?????? ?????? ?????????. Hadoop ?????????????? ????????? ???????? ? ???????????? ?????????????.

Apache Spark ????????? Hadoop ?? ?????????????????? ??????? ????????? ???????????? ??????????? ??????. ?????????? ???????????? ???????? ? ??? ??? ??????? ???????????? ??????. Spark ?????????? ???????? ?????????, ??????????? ?????????, ???????? ???????? ? ???????? ???????. ??????????? ????????? ??? ?? Python, Scala, Java ??? R ??? ???????? ?????????????? ??????????.

Apache Kafka ????????????? ?????????? ???????? ???????? ????? ?????????. ??????? ??????????? ???????? ????????? ? ??????? ? ??????????? ???????????. Kafka ????????? ?????????????????? ??????? ?????? ?????? ??? ??????????? ????????? ? ?????????? ? ??????? ???????????? ????????? ??????????.

Apache Flink ???????????????? ?? ????????? ????????? ?????????? ? ?????????? ???????. ??????? ???????????? ???????? ?? ???? ?? ?????? ??? ?????????. Elasticsearch ????????????? ? ????????? ???????? ? ??????? ???????. ??????? ???? ?????????????? ?????? ? ?????????????? ??????????? ??? ????????, ?????? ? ??????????.

????????? ? ???????? ????????

????????? ???????????? ?????? ???????? ?????? ???????? ?? ??????? ??????????. ???????????? ???????? ???????????? ??????????? ?????. ????????????????? ?????? ??????? ????? ?????????. ??????????????? ???????? ????????????? ???????? ???????? ?? ???? ???????? ??????. ?????????????? ????????? ???????? ????????? ????.

???????? ???????? ?????????????? ????????? ????????? ? ??????????. ????????? ??????????? ?? ??????? ? ??????????? ???????? ???????????. ?????????????? ???????? ????????? ??????????? ?????? ??? ?????????????. ????????? ????????????? ?????? ???????? ??? ?????????????? ??????????.

???????????????? ???????? ???????? ??????? ???????? ? ????????????? ??????. ????????????? ????????? ?????? ???????? ??? ?????????? ????????????. ???????? ? ????????????? ?????????????? ??????? ???????? ?????? ?????? ??? ???????????? ??????????.

???????????? ???????? ???????? ????????? ???? ??? ??????????? ????. ?????????? ?????? ??????????? ??????????. ???????????? ??????????? ??????????? ????????? ????? ? ??????????????? ?????.

??? ?????????? Big Data

????????? ??????? ?????????? ??????? ?????? ??? ????????? ??????????? ???????????. ???????? ???????????? ??????? ???????????? ? ????????? ?????????????? ?????????. ??????? ????????? ????? ?? ?????? ? ???????? ????????? ??????. ???????? ???????????? ??????????? ??????????? ??? ????????????????? ???????? ?????????.

?????????? ??????? ????????? ????????? ??? ????????????? ???????? ????????. ????? ??????????? ?????? ???????? ???????????? ? ????????? ????????? ?????????? ? ????????? ???????. ????????? ?????????? ??????????? ?????????? ????????? ?? ???? ?????? ?????????. ???????? ????????? ?????? ??? ??????????? ???????? ?????????.

???????? ??????????? ?????????? ??? ????????????????? ??????????? ???????. ????????? ????????? ??????????? ?????????? ???????? ? ???????? ????????? ???????? ???????. ???????????? ??????? ?????? ?????? ???????????? ???-?????????????????? ??? ???????????? ???????????? ???????. ??????? ??????? ???????????? ?????? ???????? ? ????????????? ? ??????? ??????????.

???????????? ??????? ???????? ????????????? ??????????? ? ??????????? ???????? ??????. ???????? ????????? ??????? ??????? ? ?????? ????????. ????? ?????????? ????????? ?????????????? ?????????? ? ??????? ??????. ????????????? ????????? ????????? ???????????????? ?? ?????????? ? ????????????? ?????.

??????? ??????????? ? ??????????????????

?????? ??????? ???????? ???????? ?????? ????? ??? ??????????. ??????? ???????? ?????? ???????????? ?????? ????????????, ????????? ?????? ? ??????? ????????????????. ?????? ?????? ??????? ?????????? ???? ? ????? ? ????????????? ?????????. ???????????????? ??????? ??????? ??? ????? ????????? ??????????.

??????????? ????????? ?????????? ?? ?????????????? ?????????. ????????? ????????? ???????? ? ?????????? ????????? ??? ??????? ?????. ??????????? ?????? ??????? ?????? ??? ?????????? ?? ???? ? ???????? ?? ?????. ????????????? ??????????? ????????? ???????? ??????????? ????? ??????????????? ???????.

??????????? ?????????? ????????????? ????????? ????????? ???????????? ??????. ??????????? ???????? GDPR ????????? ????????? ?????????? ?? ????????? ????????. ???????? ?????? ???????? ????????????? ? ?????????? ?????????????? ????????. ?????????? ?????? ??????? ?? 4% ?? ????????? ??????.

????????????? ??????? ??????????????? ???????? ?? ??????? ??????. ?????? ???????? ???????, ?????????? ? ?????????????? ??????. ???????????????? ??????????? ?????? ?????????????? ????????? ? ???????. ??????? ???? ??????????? ?????? ??? ???????????? ?????????? ?????????? ?????. ?????????? ??????? ????????? ?????????? ????????? ?? ?????? ???????? ??????????.

??????? ???????????? ??????? ??????

????????? ??????? ??????????? ??????????? ???????? ????????. ????????? ?????? ?????? ??????? ??????? ?? ??????? ?????? ???. ??????? ??????? ????????????????? ????????????, ??????????? ????????? ? ????????? ??????? ???????????. ??????????? ?????????? ????????? ? ?????????? ????????? ????????????.

????????? ??????? ??????? ????????? ?????? ????? ? ?????? ????????????. ??????? ????????? ?????????? ???????? ??? ????????? ? ??????. ?????? ????????? ?????????? ? ???????? ?????????? ???????????. ??????????????? ?????? ???????????? ????????????? ? ????????????? ????????? ????????? ?? ?????.

????????????? ????????? ?????????? ??????????? ???????????? ????????????? ??????. ?????????????? ???????? ???????? ????????? ??????????? ?????? ??? ????????????? ????????????. ????????? ??????????? ??????? ???????????? ?????????? ??? ?????????? ??????. ??????? ???????? ?????????? ?????? ? ???????? ???? ? ????????????.

?????????????????? ???????? ?????? ???????????? ??????????? ??????? ?? ?????????????????? ????????? ??? ????????????????? ??????????. ??????? ???????? ?????? ??????????? ??????????, ??????????? ???????????. ???????? ??????????? ?????????? ?????????? ? ?????????????? ????????????. ?????????? ??????????? ?????????? ?????????? ? ???????????? ?? ?????????.