<% if user_signed_in? %>
  <li><%= link_to 'マイページ', "/users/#{current_user.id}" ,class: "***"%></li>
  <li><%= link_to 'ログアウト', destroy_user_session_path, method: :delete, class: "***"%> </li> 
 <% else %>
  <li><%= link_to 'ログイン', new_user_session_path, class: "***" %></li>
  <li><%= link_to '新規登録', new_user_registration_path, class: "***" %></li>
<% end %>

マイページのところはユーザー名を表示させることもできます。

ユーザー名を表示させたいときは

<%= link_to current_user.name, "/users/#{current_user.id}",class: "***" %>

にすればOKです。

解説

いくらコピペでOKとは言いましたが、モデル名には気をつけてください。
（ほとんどの場合はuserだと思いますが）

<% if user_signed_in? %>

でユーザーがログインしている時の処理を記述します。
各種pathは

rails routes

で確認してください。

ログアウトの時はメソッドを追記する必要があります。

この辺はログイン機能があるアプリではほぼデフォルトの表示だと思うので。