13. september 2018 var Karlsson (samt Francis Perron) skipt til San Jose Sharks í skiptum fyrir Chris Tierney, Dylan DeMelo, Josh Norris, Rūdolfs Balcers, fyrsta umferðarval Sharks árið 2020, annað umferðarval árið 2019.
Og skilyrđilega val í annarri umferð árið 2021. Hann skoraði sitt fyrsta mark með Sharks þann 18. nóvember í 4 til 0 sigri á St. Louis Blues. Eftir hægri byrjun á tímabilinu varð Karlsson fimmti varnarmaðurinn í sögu deildarinnar til að hafa a.m.k. eina stoðsendingu í 14 leikjum í röð eftir 7 til 2 sigur á Edmonton Oilers þann 8. janúar 2019. Þann 23. desember var Karlsson leikbanninn í fyrsta sinn í ferlinum í tvo leiki fyrir ólöglega ávísun á höfuð leikmanns Los Angeles Kings, Austin Wagner. Meiðsli í lónum varð til þess að Karlsson missti af mörgum leikjum í lok tímabilsins áður en hann kom aftur í síðasta leik tímabilsins gegn Colorado Avalanche. Hann endaði tímabilið með 45 stig í 53 leikjum, lægsta stigatölu hans síðan á tímabilinu 2012-13. Karlsson aðstoðaði San Jose við að komast í úrslit Vesturþingsins í undanúrslitakeppninni árið 2019, en hann meiddist í annan leik gegn St. Louis Blues og missti af síðasta leik San Jose í undanúrslitakeppninni þegar liðið tapaði 5-1 í leik 6. Hann endaði úrslitakeppnina með 16 stig í 19 leikjum. Þann 31. maí var hann gerður aðgerð á leggöngum.