בראשית שנת ‎1907 עלה בן-צבי לארץ-ישראל. בשנה זו גם ייצג בקונגרס הציוני השמיני, שנערך בהאג, את הסניף הארץ-ישראלי של פועלי ציון. בשנת ‎1907 השתתף ביפו בייסוד "בר-גיורא" - ארגון חשאי שהקימה קבוצה קטנה של חלוצי העלייה השנייה שביקשו ליטול על עצמם את נטל השמירה על היישובים היהודיים והדאגה לביטחונם. בשנת ‎1909 השתתף, עם רחל ינאית, בהקמת "השומר". בשנת ‎1918 נשא אותה לאשה.

בשנת ‎1909, לאחר המהפכה הטורקית השנייה, נסע בן-צבי מטעם פועלי ציון לטורקיה. הוא ביקר באיזמיר, בקושטא ובסלוניקי. כמו כן ביקר בביירות ובדמשק. בערים אלה קיים קשרים עם הקהילות היהודיות ועם מנהיגיהן. בסלוניקי נתקל לראשונה בשרידי הכת השבתאית, שמאוחר יותר שימשה נושא למחקרו. בשנת ‎1910 ייסד עם רחל ינאית, עם זאב אשור ועם אחרים את כתב העת הסוציאליסטי העברי הראשון בארץ-ישראל, "אחדות". מלחמת העולם הראשונה קטעה את לימודיו באוניברסיטת קושטא, והוא שב לארץ-ישראל. בשנת ‎1915 סגרו השלטונות העות'מאניים את כתב העת "אחדות", ובן-צבי יחד עם דוד בן-גוריון, שהשלטונות העות'מאניים חשדו כי הם מקיימים פעילות ציונית, הוגלו למצרים. ממצרים נסעו שניהם לניו-יורק, וייסדו בה את תנועת "החלוץ", אשר נועדה לגייס ולהכשיר את צבא העבודה הראשון לארץ-ישראל. כעבור חודשים אחדים, עם כניסת ארצות-הברית למלחמת העולם הראשונה, התחילו בן-גוריון, בן-צבי ואחרים לפעול לגיוס מתנדבים לגדוד העברי, ואולם כאשר באו עם הגדודים העבריים לארץ-ישראל כבר הסתיים כיבושה בידי הבריטים. במהלך פרעות ‎1922 ,1920 ו-‎1929 היה בן-צבי פעיל בשורות ה"הגנה" וייצג את היישוב במשא-ומתן עם המנדט הבריטי.

באספה המכוננת של מפלגת "אחדות העבודה" נבחר בן-צבי לחבר הוועד המרכזי של מפלגה זו. בקיץ ‎1920 השתתף בוועידה העולמית של פועלי ציון בווינה. בוועידה זו התעוררה מחלוקת בשאלת הצטרפותם של פועלי ציון לאינטרנציונל הסוציאליסטי, התייחסות המפלגה לסוציאליזם בברית-המועצות ויחסה להסתדרות הציונית. המחלוקת יצרה פילוג בתוך התנועה. בן-צבי שהשתייך - עם דוד בן-גוריון, עם ברל כצנלסון ועם יצחק טבנקין - לפלג הימני של התנועה, סייע בארגונה מחדש על בסיס ציוני מוצק.

בשנת ‎1920 מינה אותו הרברט סמואל, הנציב העליון מטעם המנדט הבריטי, לחבר במועצה המייעצת לענייני פלשתינה, ואולם לאחר שהוגבלה העלייה לארץ-ישראל בעקבות פרעות תרפ"ט (‎1929) ביפו, התפטר בן-צבי מתפקידו במחאה על מדיניות ממשלת המנדט.

בשנת ‎1920 נוסדה ההסתדרות הכללית של העובדים בארץ-ישראל, ובן-צבי נבחר לחבר מזכירות הוועד הפועל שלה. חלק ניכר מפעילותו הציבורית הקדיש בן-צבי לירושלים ולאוכלוסייתה היהודית. בשנת ‎1927 נבחר לראשונה לחבר מועצת העיר ירושלים, ואולם לאחר מאורעות ‎1929 התפטר מהעירייה במחאה על עמדתה של ההנהלה הערבית של העיר. בספטמבר ‎1934 נבחר שוב לעירייה.

בשנת ‎1920 נבחר בן-צבי לחבר הוועד הלאומי, בשנת ‎1931 נבחר ליושב-ראש הוועד ובשנת ‎1945 נבחר לנשיאו. הוא השתתף, כנציג היישוב, בכל הקונגרסים הציוניים שהתקיימו בשנות ה-‎20 של המאה ה-‎20, ובשנת ‎1939 ייצג את היישוב בוועידת השולחן העגול שכינסו הבריטים בלונדון בניסיון לגשר בין עמדות היהודים והערבים בפלשתינה.

לאחר הקמת מדינת ישראל כיהן בן-צבי בכנסת הראשונה והשנייה כחבר מפא"י. בשנת ‎1952, לאחר מות הנשיא חיים וייצמן, נבחר לנשיא המדינה. בשנת ‎1957 נבחר לתקופת נשיאות שנייה, ובשנת ‎1962 נבחר לתקופת נשיאות שלישית. הוא נפטר בשנת ‎1963, בעודו מכהן כנשיא המדינה.

מפעל חייו של יצחק בן-צבי היה מחקרו ההיסטורי; הוא עמד בראש המוסד לחקר הקהילות היהודיות במזרח התיכון, שנוסד בשנת ‎1948 ובשנת ‎1952 נקרא בשם "מכון בן-צבי". רוב מחקריו הוקדשו לקהילות יהודיות באסיה ובאפריקה ולעדות ולכתות כגון השומרונים, הקראים והשבתאים. מחקרים רבים הקדיש לגיאוגרפיה של ארץ-ישראל, לאוכלוסיותיה הקדומות ולעתיקותיה.