Организация общения между сервером и клиентом

[coNsept]

Добрый день уважаемые программисты, проектирую свой "messenger" и нуждаюсь в советах умных людей, решил пойти не самым легким путем и начал писать свой протокол по обмену сообщениями чтобы разобраться более детально
во всех тонкостях сетевого программирования.
Первым делом для более высокой производительности я подумал и решил использовать асинхронные механизмы async/await и соотвественно асинхронные методы в классах TcpClient, TcpListener.

На текущий момент я решил провернуть все, следующим образом:
Мой сервер подписывается на событие которое считывает асинхронного приходящие пакеты от клиента а клиент аналогично реализует такой же функционал и работает это все примерно следующим образом.

Код приведенный ниже, в частности ReceivePacket завернут в класс NetworkConnection и соответсвенно я создаю асинхронный обработчик для каждого подключаемого клиента до тех пор пока клиент не отключился по собственной воли.

public async void ReceivePacket()
{
 var length = await ReadAsync(Stream, 4).ToInt(); //Размер пакета
 var effect = await ReadAsync(Stream, 4).ToInt(); //Действие которое должен выполнить пакет
 var command = await ReadAsync(Stream, length).ToString(); //JSON объект

 OnCommandReceive(new WrapperCommand
  {
   Length = length,
   Effect = effect,
   Command = command
  });

 ReceivePacket();
}

Когда клиент посылает команду я всегда ему отвечаю обратно неким Acknowledgement, мол чувак все ОК я твою команду принял.

Вопрос, важно ли такое действие, как никак это лишняя операция и при больших объемах данных тоже будет кушать свое время на обработку, стоит ли делать такое или ACK стоит посылать только в том случае когда клиент должен что-то обработать при получение ACK?
Вопрос, еще я каждого подключенного TCP клиента держу в ConcurrentDictionary, на сколько это правильно и есть ли другой способ более производительней? А то как бы, при 100-200к подключенных клиентов одновременно коллекция будет не хило большой что скажется естественно на производительности.
Вопрос, корректно ли держать в коллекции столько клиентов? Ума не приложу как можно сделать подругому и чистить коллекцию от подключений (ведь клиент может висеть сутками онлайн или выдернуть интернет кабель и об отключение я никогда не узнаю)

В общем, если кто-то уже занимался подобным, подскажите пожжааалуйста как организовать правильно такую систему.. Какие мелкие нюансы, тонкости, за ранее благодарю Вас.