Довольно типовая задача тем более, сначала оверлей обертку плавно скрыть, а потом уже открытую модалку, можно конечно на них обоих fade сделать, но как-то для браузера тяжеловато будет, более логично скрыть fade'ом оверлей, а потом уже для модалки display: block задать