???????? ???????????? ????????? ?????

????????? ???? ???????????? ????? ????????? ???????????, ??????????? ?????? ?????????????? ?????. ????????????? ??????? ???????????? ? ???? ? ?????????????? ?????? ????????. ?????? ?????? ???????????? ???????? ????????, ????????? ? ??? ?????????????? ????????????? ? ???????? ????????? ?????????? ????.

????? ???????????? ?????? ?????? ?????? ??????? ?? ???????? ????? ???????. ???? ???????????? ??????? ??????? ???????? ? ???????? ???????????. ? ???????? ???????? ??????? ???????? ??????? ?????????, ???????? ?????? ????????????. ??? ?????? ???????? ?????????????? ????????, ??? ?????? ???????? ??????????.

????????? ????????? ????????? ??????? ?????????????, ????????? ? ????????? ????????. ?????????? ???????????? ? ??????????? ???????????, ?????????? ????????, ?????????? ??????????. ???????? ???????? ???????????? ??????????? ????????? ????????????? ???? ? ???????? ? ??????? ??????????????.

????????? ????: ??? ??? ? ????? ??? ????????????

????????? ???? ??????? ?? ??????????? ?????????????? ???????????, ????????? ?????????. ??? ????? ???????????? ? ?????, ??????? ??????? ??????? ????????????? ??????????. ?????? ????????????? ?????? ???????????? ????????, ???????????? ?? ? ?????????? ??????.

???????? ???????????? ?????????? ??????????? ? ??????????? ???????????? ??????????? ???????? ? ?????????. ??????????? ?????? ????????? ?????? ????????? ??????, ????? ??? ?????? ?????? ?????????????? ???????? ???????.

?????????? ????????? ????????? ????????? ???????????. ????? ?????????? ???????? ????????. ????????? ?????? ????????? ?????? ??? ????????? ?????????. ?????????????? ??????????? ???????? ???????? ? ??????? ???????????????? ?????????. ?????????? ???????? ??????????????? ???????????? ???????????.

?????????? ????????? ??????, ????????????? ??????? ????????. ????????? ??????????? ??????, ???????????? ???????, ???????????? ??????????????? ??????????????????? ??????????? ??????????? ????????????? ?????????.

????????? ??????: ?????????, ?????, ???????????? ? ?????????

????????????? ?????? ???????????? ???????? ?????? ????????? ????. ???? ???????????? ????????? ????????? ???????, ?????? ?? ??????? ???????? ?? ??????????????? ??????? ???????????. ???? ????????? ???????? ??????? ????????? ????????.

????? ???????????? ??? ????????? ???????????. ? ?????????????? ????? ???????????? ???????? ????????, ??????? ???????? ??????? ??????????? ??? ?????? ??????. ????? ??????????? ???????? ????????.

????????? ???????????? ???????? ? ??????? ?????????. ??? ??????? ?????????? ???????? ????? ? ?????????????? ?????????. ??????? ????????? ????????? ???????????? ? ???????, ??? ???????? ????? ??? ?????????? ??????????? ???????. ??? ?????????? ????????????? ?????? ?????? ?? ?????? ?? ???????????????? ????????? ????????.

????????? ??????? ?????????????? ? ???? ????????. ??????? ???????? ??????? ?????????, ???????? ????????? ????? ?????????????? ? ????????? ???????. ?????????? ????????? ????? ????????????? ????????????? ???????????????? ?????????.

??????????? ????????? ????: ????, ????? ? ???? ????????????

??????????? ????????? ???? ?????????? ????? ?????????? ???????? ? ?????? ????? ????. ??????? ???????????? ?? ????????? ?????. ????????? ???? ????????? ????????, ??????? ???? ??????????? ??????????, ?????????????? ???? ??????? ?????.

?????????? ????? ????????? ?????????? ???????? ?? ???? ? ????. ?????? ?????????? ??????????? ??????? ??????????, ??????? ?????????????? ?? ????? ????????. ?????????? ?????? ?????????? ?? ??????????????? ????????? ???????????.

??????????? ????????????? ???? ?????????:

• ????????????????? ???????? — ?????? ???????? ?? ????? ? ??????????
• ???????????? — ???????? ?????????? ?????????? ??? ????????? ?????
• ?????????? — ??????????????? ?? ????????? ???????
• ?????????-???????? — ????????? ??????? ???????????? ??? ?????????????

?????? ????????? ???????????? ?? ???????????? ????????. ????? ???? ?????? ??????????? ? ????????? ?????????? ????????????. ?????? ????????? ?????? ?????? ???? ????????? ????????? ???????? ? ??????????????????.

??????? ?????????: ????? ??? ????????? ? ??? ????????

??????? ????????? ?????????????? ?????????? ???? ???????? ??????? ? ???????? ?????. ??? ???? ?????????????? ????????? ???? ???????????? ?? ????? ???????? ??????????. ????? ?????????????????? ???????? ????????? ??????????? ???????, ??? ???????????? ?????????? ???????.

???????? ???????? ????????? ???? ?????????????? ?????????? ???????????. ???????? ??????????? ???????? ? ???????? ?? ???? ?? ??????? ??? ???????? ?????????????. ??????????????? ??????? ?????????? ???????? ?? ????? ??????? ?? ???? ???????.

??????? ReLU ???????? ?????????? ???????? ? ????????? ?????????? ??? ???????????. ???????? ?????????? ?????? ReLU ???????????????? ??????? ??? ???????? ?????. ???????? Leaky ReLU ? ELU ????????? ?????? ??????????? ?????????.

Softmax ????????????? ? ?????????????? ???? ??? ??????????????????? ?????????????. ???????? ??????????? ?????? ????? ? ????????? ??????. ?????? ???????? ????????? ??????????? ?? ???? ???????? ? ????????????? ???????????????? ?????? ??????.

???????? ? ????????: ???????????, ???????? ? ?????????? ????????

???????? ? ???????? ?????????? ??????????? ????????, ??? ??????? ???????? ????????????? ?????????? ????????. ?????? ?????? ???????, ????? ???????? ?????????? ??????? ????? ????????? ? ???????? ??????????. ??? ??????? ????????? ??????????? ??????.

?????? ???????? ??????? ? ???????? ?????????? ????? ????????????? ?????. ???????? ????????????? ?????? ??????????? ??????????? ?????????? ??????????. ???????? ??????? ? ??????????????? ???????????, ???????? ?????????? ?? ?????? ????????.

????? ????????? ??????????? ??????? ????????? ??? ???? ?????????? ????. ???????? ???????????? ? ????????? ???? ? ??????? ? ????????. ?? ?????? ???? ??????????? ??????????? ??????? ????????? ? ????????? ??????????.

??????????? ???????? ?????????? ??????? ????????????? ????????????? ?? ?????? ?????. ??????? ???????????? ???? ????? ? ??????????????, ??????? ????????? ????????? ????????????. ?????? ????? Adam ? RMSprop ??????????? ???????????? ???????? ??? ??????? ????????????. ?????????? ?????????? ???????? ???????? ?????? ?????? ?????????? ??????? ???????? ???????.

???????????? ? ?????????????: ??? ????????????? “???????????” ????????

???????????? ??????????, ????? ??????? ??????? ??????? ????????????????? ??? ????????? ??????. ???? ?????????? ????????? ??????? ?????? ??????????? ?????????? ??????. ?? ?????????? ?????? ????? ?????? ????????????? ????????? ????????.

????????????? ???????? ???????? ???????? ??? ?????????????? ????????????. L1-????????????? ???????? ? ?????????? ?????????? ????? ????????? ???????? ?????????????. L2-????????????? ????????? ???? ????????? ??????????. ??? ?????? ???????? ??????? ?? ??????? ??????? ????????????.

Dropout ?????????????? ??????? ???????????? ????? ???????? ?? ????? ????????. ????? ????????? ???? ???????????????? ?????? ????? ????? ???????. ?????? ??? ????????? ?????? ???????????????? ????????????, ??? ???????? ???????????.

????????? ?????????? ????????????? ???????? ??? ????????? ?????? ?? ??????????? ???????. ?????????? ??????? ????????????? ???????? ???????????? ??????????? ????????????. ?????????? ?????????? ????? ???????? ????? ????????????? ?????????. ????????? ??????? ????????????? ??????????? ??????? ?????????? ?????? ?????? ??????.

??????? ???? ?????: ????????????, ??????????, ????????????

????????????? ???????????? ????????? ????? ????????????? ?? ?????????? ????????????? ??????? ?????. ????? ????????? ???? ??????? ?? ????????? ????????? ?????? ? ??????? ??????.

??????? ???? ????????? ????? ????????:

• ???????????? ???? — ?????? ?????? ?????? ?? ????? ????????? ?????????? ????, ??????????????? ??? ????????????????? ??????
• ?????????? ???? — ????????????? ?????????????? ??????? ??? ????????? ??????????, ?????????????? ????????? ??????????? ????????
• ???????????? ???? — ????? ???????? ????? ??? ??????????? ???????, ???????????? ?????? ? ?????????????? ??????
• ??????????????? — ????????? ???????? ? ?????? ??????????? ? ?????????? ????????? ??????

???????????? ??????????? ??????????? ????????????? ????? ?????. ?????????? ???? ????????????? ????????????? ? ???????? ??-?? ?????????? ?????. ???????????? ?????? ???????????? ????????? ? ??????????????? ????. ???????????? ????????? ???????????? ????????? ? ??????? ??????????? ?????. ??????????????? ????????? ??????????? ???????????? ????????????? ?????????????? ?????? ??????.

?????? ??? ????????: ??????????, ???????????? ? ????????? ?? ???????

??????? ???????? ????? ?????? ????????????? ???????? ????????? ????. ?????????? ???????? ?????????? ?? ??????, ?????????? ??????????? ?????????? ? ?????????? ?????. ???????? ?????????? ???????? ? ???????????? ?????????????.

???????????? ???????? ?????????????? ? ?????? ??????. ?????? ?????????? ???????? ????????? ???????????? ??? ?????????? ??????????. ??????????? ???????????? ??????? ???????? ? ?????????? ?? ???? ?? ???????. ?????????????? ????????? ?????? ???????????? ??????.

???????? ??????? ?? ??? ???????. ????????????? ????? ??????????? ??? ??????????? ??????????. ??????????? ????????? ????????? ?????????????? ? ????????? ????????????. ???????? ???????? ????????? ????????????? ?? ?????? ??????????.

???????? ????????????? ????????? ????????? ????????? ?? ????????, ?????????? ?? ????????? ? ?????????? ?? ????????. ?????-????????? ????? ?????? ?? ????????? ?????? ??? ?????????? ????????. ???????????? ??????? ????????? ??????? ???????. ?????? ????????????? ???????? ???????? ????? ??? ????????????? ???????? ?????? ??????.

???????? ?????: ?? ??????????? ??????? ?? ????????? ???????

????????? ???? ????????????? ? ??????? ????? ???????????? ???????. ?????????????? ?????? ????????????? ?????????? ???????????? ??? ??????????? ????????? ?? ???????????. ????????? ?????? ?????????????? ???? ? ?????? ????????? ???????. ????????? ??????????? ????????? ?????????? ??? ????????? ???????????.

????????? ?????? ????? ???? ????????????? ???-????, ??????????? ? ?????? ???????? sentiment. ???????? ?????? ?????????? ???? ? ?????????? ??????. ???????????????? ????????? ?????????? ????? ?? ?????????? ??????? ?????????.

???????????? ??????? ????????? ???????????? ???????. ???????????-?????????????? ???? ??????? ??????????? ????????. ???????????? ??????????????? ????????? ??????????? ???????????? ?????????. ????????? ??????? ????????? ?????????, ??????????? ???????????? ??????.

??????????????? ???????????? ???????? ?????????? ????????? ??? ?????????????. ?????????? ??????????? ????????? ????????????? ??????????? ? ????????? ????????? ??????. ???????????????? ??????????? ???????????? ?????? ? ?????????? ??????? ???????????? ? ??????? ?????? ??????.