????????? ???????????????? ????????? ?????

????????? ???? ?????????? ????? ????????? ?????, ??????????????? ???????????? ????????????? ?????. ????????? ??????? ???????????? ? ???? ? ??????????? ?????? ??????????. ?????? ?????? ???????????? ????????? ????????, ??????????? ? ??? ?????????????? ???????? ? ???????? ???? ?????????? ????.

??????? ?????? ???? ?????? ?????? ?????????? ?? ???????? ????? ???????. ???? ????????? ??????? ?????????? ?????????? ? ???????? ????????. ? ???????? ???????? ??????? ??????????? ????????? ????????, ???????? ?????? ?????????. ??? ?????? ???????? ??????????? ???????, ??? ?????? ???????? ??????.

??????????? ????????? ????????? ???????? ?????????????, ????????? ? ???????????? ???????????. ?????????? ??????????? ? ??????????? ???????????, ???????? ????????, ??????????????? ??????????. ???????? ???????? ???????????? ??????? ????????? ????????? ???? ? ??????????? ? ??????? ?????????.

????????? ????: ??? ??? ? ????? ??? ??????????

????????? ???? ??????? ?? ????????? ?????????????? ?????, ????????? ?????????. ??? ???? ??????????? ? ?????, ???????? ??????? ??????? ????????????? ??????????. ?????? ????????????? ?????? ???????? ???????, ???????????? ?? ? ??????????? ??????.

??????? ?????? ?????????? ??????? ? ?????? ???????????? ??????? ??????????? ? ??????. ??????????? ??????? ???????????? ??????? ???????????????? ??????, ????? ??? A??? ?????? ?????????? ???????? ???????????.

???????? ????????????? ???????? ???????????? ????????. ????? ???????? ???????? ????????. ????????? ?????????? ????????? ?????????? ??? ??????????? ???????. ???????????????? ??????????? ?????????????? ????? ? ??????? ???????????????? ?????????. ????????? ????????? ??????????? ???????????? ??????????.

?????????? ??????????? ???????, ??????????? ??????? ??????????. ????????????? ??????????? ??????, ???????????? ???????, ???????????? ???????????????? ????? ?????????? ??????????? ????????????? ?????????????.

????????? ??????: ???????????, ?????, ???? ? ?????????

????????????? ?????? ?????????? ??????? ????? ????????? ????. ??????? ???????????? ????????? ??????? ????????, ?????? ?? ??????? ????????????? ?? ?????????? ??????? ??????????. ???? ????????? ????????? ??????? ????????? ?????.

????? ????????? ??? ???????? ????????????. ? ?????????? ????? ?????????????? ???????? ????????, ??????? ???????? ??????? ??????????? ??? ?????? ????????. ???????? ???????? ???????????? ????????.

???????? ???????? ???????? ? ??????? ?????????. ??? ????????? ???????????? ???????? ?????????? ? ?????????????? ??????. ??????? ????????? ????????? ???????????? ? ???????, ??? ??????????? ??????????? ??? ?????????? ??????????? ?????. ??? ??????????? ???????? ??????? ???? ?? ?????? ?? ?????????? ????????? ?????.

????????? ??????? ?????????? ? ???????? ????????. ????? ??????????? ??????? ??????????, ???????? ??????????? ????? ?????????????? ? ???????????? ???????????. ?????????? ?????????? ????????????? ???????????? ????????????? ???????????????? ???????.

??????????? ????????? ????: ????, ?????????? ? ????????????? ????????

?????????? ????????? ???? ?????? ?????? ???????????????? ???????? ? ?????????? ????? ????. ??????????? ??????? ?? ???? ?????. ????????? ???? ????????? ??????, ?????????? ???? ???????????? ????????, ???????? ???? ??????? ?????????.

?????????? ????? ????????? ??????????? ???????? ?? ???? ? ????. ?????? ?????????? ??????????????? ??????? ???????????, ??????? ????????????? ?? ????? ????????. ???????????? ?????? ??????????? ?? ?????????????? ??????????? ??????.

??????? ?????? ????????? ?????????:

• ????????????????? ???????? — ??????? ???????????? ?? ????? ? ??????
• ???????????? — ???????? ???????? ????? ??? ??????? ?????
• ?????????? — ???????????? ?? ???????????? ????????
• ?????????-???????? — ????????? ?????? ????????? ??? ??????????

??????????? ???????????? ??????? ?? ??????????? ????. ?????????? ???? ????????????? ??????????? ? ????????? ?????????? ???????. ?????????? ????????? Atom casino ???????????? ?????? ??????????? ????????????? ? ??????????????????.

??????? ?????????: ????? ??? ?????????? ? ??? ????????

??????? ????????? ???????????? ????????????????? ????? ???????? ??????? ? ????????? ??????. ??? ???? ?????????????? ????????? ???? ???????? ?? ??????? ??????? ????????. ????? ?????????? ???????? ????????? ???????? ????????, ??? ???????????? ??????????? ???????????.

???????? ???????? ????????? ???? ?????????????? ??????? ?????. ???????? ??????????? ????? ? ?????????? ?? ???? ?? ??????? ??? ???????? ?????????????. ??????????????? ??????? ?????????? ???????? ?? ????? ??????? ?? ???? ???????.

??????? ReLU ???????? ?????????? ???????? ? ????????? ?????????? ??? ?????????????. ??????????? ???????? ??????? ReLU ?????? ????????? ??? ???????????? ?????. ??????????? Leaky ReLU ? ELU ??????????? ???????? ?????????? ?????????.

Softmax ????????????? ? ?????????????? ???? ??? ??????????????? ?????????????. ???????? ???????????? ????? ???????? ? ????????? ??????. ?????? ??????? ????????? ?????? ?? ???????? ???????? ? ???????????????? ???????????? A??? ??????.

???????? ? ????????: ???????????, ???????? ? ???????? ???????????????

???????? ? ???????? ????????????? ??????????? ??????, ??? ??????? ???????? ????????????? ?????????? ?????. ?????? ?????????? ???????, ????? ??????? ?????????? ?????????? ????? ?????????????? ? ??????????? ???????????. ??? ?????????? ?????????? ???????? ??????.

?????? ???????? ??????? ? ?????????? ?????? ????? ????????? ?????????????. ???????? ????????? ?????? ????????????? ??????????? ?????????? ??????????. ???????? ???????????? ? ??????????????? ???????, ???????? ??????????? ?? ?????? ???????.

?????? ????????? ???????? ???????????? ????????? ??? ???? ????? ????. ??????? ???????? ? ????????? ???? ? ???????? ? ????????. ?? ?????? ???? ??????????????? ??????????? ??????? ???? ? ????????? ???????????.

???????? ???????? ?????????? ??????? ????????????? ?????????? ?? ?????? ????????. ??????? ?????????? ???? ????????? ? ??????????????, ??????? ?????? ????????? ??????????. ????????? ????? Adam ? RMSprop ????????? ???????????? ???? ??? ??????? ?????????. ?????????? ????????? ??????? ???????? Atom casino ????????????? ????????????? ????????? ???????????.

???????????? ? ?????????????: ??? ???????? “???????????” ??????

???????????? ??????????, ????? ???????? ??????? ??????? ????????????? ??? ????????????? ??????????. ??????? ?????????? ????????? ?????? ?????? ??????????? ?????????? ????????????. ?? ??????????? ?????????? ????? ?????? ?????????? ?????? ?????????????.

????????????? ???????? ????? ???????? ??? ?????????? ????????????. L1-????????????? ???????? ? ??????? ?????????? ????? ?????????? ?????????? ?????????????. L2-????????????? ????????????? ????? ???????? ??????????. ??? ??????? ???????????? ???????? ?? ?????????? ??????? ????????????.

Dropout ????????? ??????? ???????????? ????? ???????? ?? ???????? ????????. ????? ?????????? ???? ???????????? ?????? ????? ????? ??????????. ?????? ?????? ??????? ????????? ???????????? ????????????, ??? ???????? ??????????.

?????? ????????? ????????? ???????? ??? ??????? ?????? ?? ????????????? ????????????. ?????????? ??????? ????????????? ???????? ????????? ?????? ????????????. ??????????? ????????? ?????????????? ??????? ????? ????????????? ?????????. ????????? ??????? ????????????? ??????????? ???????????? ?????????????????? ?????? ??????? ????.

??????? ???? ?????: ????????????, ??????????, ????????????

????????????? ???????????? ????????? ????? ????????????? ?? ?????????? ?????????? ????????? ????????. ?????? ????????? ???? ??????? ?? ????????? ????????? ?????? ? ??????? ??????.

??????? ????????????? ????????? ????? ??????????:

• ???????????? ???? — ?????? ?????? ?????? ?? ????? ????????? ?????????? ????, ????????????? ??? ????????????????? ??????
• ?????????? ???? — ????????? ?????????????? ??????? ??? ????????? ??????????, ?????????????? ????????? ?????????????? ??????????????
• ???????????? ???? — ????? ???????? ?????????? ??? ??????????? ???????????????????, ?????? ???????? ? ?????????????? ?????????
• ??????????????? — ??????? ???????? ? ?????????? ????????????? ? ??????????????? ????????? ??????????

???????????? ????????? ????????? ???????? ????? ?????????????. ?????????? ???? ????????????? ??????????? ? ???????????? ??-?? ?????????? ?????. ???????????? ??????? ???????????? ????????? ? ??????????????? ?????. ???????????? ???????? ???????????? ??????????? ? ???????? ??????????? ?????. ????????? ????????? ??????????? ????? ?????? ????? Atom casino.

?????? ??? ????????: ??????????, ???????????? ? ?????????? ?? ???????

??????? ???????? ???????? ?????? ?????????? ???????? ????????? ????. ?????????? ???????? ?????????? ?? ???????????, ??????????? ??????????? ??????? ? ?????????? ?????. ???????? ?????? ???????? ? ???????????? ???????.

???????????? ???????? ?????????????? ? ??????? ?????????. ?????? ?????????? ?????????? ????????? ???????????? ??? ??????????? ??????????. ??????????? ???????????? ??????? ???????? ? ??????? ?? ???? ?? ???????. ?????????????? ????????? ?????? ?????? ???????.

?????????? ??????????? ?? ??? ??????. ????????? ???????????? ??????????? ??? ??????????? ?????. ??????????? ??????????? ????????? ?????????????? ? ????????? ????????????. ???????? ???????? ????????? ?????????????????? ?? ?????? ??????????.

??????????? ????????? ???????? ????????? ????????? ?? ????????, ?????????? ?? ???????? ? ?????????? ?? ????????????. ?????-????????? ???????????? ???????? ?? ????????? ?????? ??? ???????? ??????. ???????????? ????? ????????????? ????????? ?????????. ?????????? ????????????? ?????? ???????? ????? ??? ??????????????? ???????? A??? ??????.

?????????? ?????: ?? ??????????? ????????? ?? ????????? ??????

????????? ???? ??????????? ? ??????? ????? ???????????? ???????. ???????? ?????? ?????????? ?????????? ???????????? ??? ????????????? ????????? ?? ?????????. ??????? ???????????? ?????????? ???? ? ??????? ??????????? ???????. ??????????? ??????????? ???????????? ??????????? ??? ??????????? ??????????.

????????? ????????????? ????? ???????? ??????? ???-????, ??????????? ? ?????? ???????? ???????????. ????????? ????????? ?????????????? ???? ? ??????????? ???????. ???????????????? ????????? ????????? ?????????? ?? ???? ??????? ???????????.

??????????? ??????????? ?????????? ???????????? ???????. ???????????-?????????????? ???? ??????? ?????????????? ????????. ???????????? ??????????????? ?????????? ??????????? ???????????? ????????. ???????? ??????????? ????? ?????????, ??????????? ??????? ?????.

??????????? ???????????? ???????? ????????????? ????????? ??? ?????????. ?????????? ?????????? ????????? ????????????? ???????? ? ?????????? ??????? ???????????. ???????????????? ??????????? ???????? ??????? ? ????????? ????????????? ??????? ? ??????? ??????? ????.