הציווי הקליני לבינה מלאכותית מעוגנת: מעבר לעטיפת ה-LLM בתקשורת בתחום הבריאות

תעשיית הבריאות עומדת בצומת רגיש, שבו הצורך הדחוף להפחית שחיקת קלינאים התנגש עם הפריסה המהירה—ולעיתים קרובות ללא בדיקה—של בינה מלאכותית יוצרת. העומס המנהלי על רופאי רפואה ראשונית (PCPs) הגיע לסף קריטי, כאשר חלק מהקלינאים מקדישים בממוצע 10 שעות בחודש אך ורק להודעות בפורטל המטופלים—עבודה שהייתה היסטורית בלתי ניתנת לחיוב ומניע מרכזי לשחיקה מקצועית.¹ בתגובה, שילוב מודלי שפה גדולים (LLMs) לאוטומציה של תקשורת עם מטופלים הוכרז כהישג יעילות מהפכני. עם זאת, מחקר סימולציה חתך-רוחבי פורץ דרך שפורסם ב-The Lancet Digital Health באפריל 2024—שנערך על ידי חוקרים מ-Harvard Medical School, Yale School of Medicine ו-University of Wisconsin—חשף פגיעויות מערכתיות בגישה זו.¹ המחקר מצא שבעוד בינה מלאכותית יוצרת מפחיתה באופן משמעותי את עומס העבודה הקוגניטיבי הנתפס, היא מציגה סיכוני בטיחות חמורים למטופלים שאמצעי ההגנה הקיימים מסוג "אדם-בלולאה" נכשלים לעיתים קרובות לתפוס.³

מאמר לבן זה, שהוכן על ידי Veriprajna, טוען כי ההסתמכות הנוכחית של התעשייה על "עטיפות LLM"—יישומים שמעבירים בעיקר נתוני משתמש למודל לשימוש כללי עם עיגון קליני מינימלי—אינה מספיקה לסביבה גבוהת-הסיכון של הטיפול הקליני. כשחוק קליפורניה Assembly Bill 3030 (AB 3030) מתכונן לחייב גילוי שימוש בבינה מלאכותית בתקשורת עם מטופלים החל מינואר 2025, עידן האוטומציה הניסיונית חייב לפנות מקום להנדסת בינה מלאכותית עמוקה ומבוססת-ראיות.⁶ בטיחות קלינית אמיתית דורשת שינוי ארכיטקטוני לעבר יצירה מועשרת-שליפה (RAG), גרפי ידע רפואיים, ובדיקות צוות אדום אדוורסריות קפדניות.

הראיות הפורנזיות: ניתוח ממצאי Lancet מאפריל 2024

מחקר Lancet מייצג אחד ההערכות הקפדניות ביותר של בינה מלאכותית יוצרת בסביבה קלינית מדומה עד כה. החוקרים העריכו את ביצועי GPT-4 בניסוח תגובות ל-156 הודעות בפורטל מטופלים בתוך פלטפורמת רשומה רפואית אלקטרונית (EHR) מדומה.¹ התוצאות מספקות נרטיב כפול: אחד של פוטנציאל עצום לפרודוקטיביות, ואחר של סיכון קטסטרופלי.

פירוט סטטיסטי של נזק מבינה מלאכותית ופיקוח רופאים

הממצאים הכמותיים של המחקר מדגימים כי מודלי LLM, כאשר משתמשים בהם ללא עיגון קליני עמוק, מסוגלים לייצר תוכן משכנע מאוד אך מסוכן רפואית. מתוך 156 הטיוטות שנוצרו בבינה מלאכותית, 7.1% סווגו כמציגים סיכון לנזק חמור למטופל.¹ המדאיג ביותר: 0.6% מהתגובות—באופן ספציפי מקרה אחד בסימולציה—הציגו סיכון ישיר למוות.¹ תפוקות מזיקות אלה נבעו בדרך כלל מכשלון המודל לזהות דחיפות קלינית או מנטייתו לספק ייעוץ רפואי מיושן ושגוי.³

מדד ביצועי בינה מלאכותית וסיכון	ערך סטטיסטי	מקור
סיכון לנזק חמור (טיוטות בינה מלאכותית ללא עריכה)	7.1%	4
סיכון ישיר למוות (טיוטות בינה מלאכותית ללא עריכה)	0.6%	4
הסכמת רופאים: הבינה המלאכותית הפחיתה עומס עבודה קוגניטיבי	80%	3
אמון הרופאים בביצועי כלי הבינה המלאכותית	90%	3
ממוצע טיוטות שגויות שהוחמצו על ידי רופאים	66.6%	3
טיוטות שגויות שנשלחו ללא כל עריכה	35% – 45%	3
סבירות להחמצת טיוטה שגויה (ערך p)	< 0.001	3

המשמעות הקלינית של מספרים אלה מועצמת כאשר מציבים אותם מול ביצועי הרופאים הסוקרים. המחקר השתמש ב-20 רופאי רפואה ראשונית פעילים לסקירת התגובות שנוצרו בבינה מלאכותית. למרות מומחיותם, קלינאים אלה החמיצו בממוצע 2.67 מתוך 4 טיוטות שגויות במכוון.³ רק משתתף יחיד מתוך עשרים הצליח לזהות ולטפל במידה מספקת בכל ארבע ההודעות השגויות.³ פער זה מדגיש פגיעות פסיכולוגית יסודית במודל "רופא-בלולאה": הטיית אוטומציה.

מנגנון הכשלון: הטיית אוטומציה והזיה

הטיית אוטומציה מתרחשת כאשר מפעילים אנושיים מסתמכים יתר על המידה על הצעות אוטומטיות, ולעיתים קרובות נכשלים להפעיל את אותה רמת ביקורת שהיו מפעילים על עבודתם שלהם או על זו של עמית אנושי.⁵ בסימולציית Lancet, האיכות הלשונית הגבוהה והטון האמפתי של טיוטות GPT-4 יצרו תחושת ביטחון כוזבת.¹ הרופאים דיווחו על רמת אמון של 90% בביצועי הכלי, גם כאשר החמיצו שגיאות קריטיות.³

השגיאות עצמן לא היו רק שגיאות הקלדה אלא כשלונות מהותיים בהיגיון קליני. "הזיות" אלה כללו המצאת מידע רפואי, שימוש בפרוטוקולים מיושנים, והכי קריטי—כישלון להעריך את "חריפות" מצבו של המטופל.³ לדוגמה, המקרה שסווג כ"סיכון למוות" התרחש כי הבינה המלאכותית נכשלה להורות למטופל לפנות מיד לטיפול חירום עבור תסמין מסכן-חיים, ובמקום זאת סיפקה תגובה סטנדרטית שאינה דחופה.¹

התפתחות רגולטורית: חוק קליפורניה AB 3030 ומנדט השקיפות

ככל שסיכונים טכניים של בינה מלאכותית יוצרת הופכים לכמתים, גופים מחוקקים מתחילים לחוקק מסגרות להגנה על מטופלים. חוק קליפורניה AB 3030, שנחתם לחוק בספטמבר 2024, מסמן מעבר משמעותי לשקיפות חובה בבינה מלאכותית בתחום הבריאות.⁷

דרישות ציות לשנת 2025

החל מ-1 בינואר 2025, AB 3030 מחייב את כל מתקני הבריאות, המרפאות ופרקטיקות הרופאים להודיע למטופלים בכל פעם שבינה מלאכותית יוצרת משמשת לתקשורת של "מידע קליני על המטופל".⁶ זה כולל כל מידע הקשור למצב הבריאות של מטופל, תוך פטור ממשימות מנהליות כגון תיאום תורים או חיוב.⁶

מדיום תקשורת	תקן הודעה לפי AB 3030	מקור
כתוב (מכתבים, דוא״ל)	כתב ויתור המוצג באופן בולט בתחילת כל תקשורת	6
מקוון (מבוסס-צ׳אט, רפואה מרחוק)	כתב ויתור המוצג באופן בולט לאורך כל האינטראקציה	6
שמע (הודעות קוליות, שיחות)	כתב ויתור מילולי בתחילת ובסוף	6
תקשורת וידאו	כתב ויתור המוצג באופן בולט לאורך כל האינטראקציה	6

מעבר לגילוי פשוט, החוק מחייב לספק למטופלים הנחיות ברורות כיצד ליצור קשר עם ספק בריאות אנושי או עם אנשי מקצוע מתאימים.⁷ אי-ציות להוראות אלה חושף מתקני בריאות לקנסות ולפעולות רישוי, בעוד רופאים יחידים עלולים לעמוד בפני פעולה משמעתית נגד רישיונותיהם הרפואיים.⁹

פטור "אדם-בלולאה" והשלכותיו

סעיף קריטי ב-AB 3030 קובע כי דרישות כתב הוויתור וההנחיות אינן חלות אם התקשורת שנוצרה בבינה מלאכותית "נקראה ונסקרה" על ידי ספק בריאות אנושי מורשה או מוסמך.⁶ על פני השטח, זה מספק נתיב למערכות בריאות להמשיך להשתמש בכלי ניסוח מבוססי בינה מלאכותית ללא גילוי השימוש למטופלים.

עם זאת, מחקר Lancet מספק נקודת-נגד הרסנית לפטור זה: אם קלינאים מחמיצים 66% מהשגיאות עקב הטיית אוטומציה, תקן "נקרא ונסקר" עלול להציע תחושת ציות כוזבת תוך שמירה על רמת סיכון קליני גבוהה.¹ Veriprajna טוענת כי ה"נמל הבטוח" המשפטי והאתי שמספקת סקירה אנושית תקף רק אם אותה סקירה נתמכת בטכנולוגיה שמרתיעה באופן פעיל קבלה פסיבית ומספקת לסוקר את ההקשר הדרוש לזיהוי הזיות.

מגבלת מודל "עטיפת ה-LLM"

הגישה הנפוצה בסטארטאפים הנוכחיים של בינה מלאכותית בתחום הבריאות היא פריסת "עטיפות"—שכבות תוכנה דקות שמקלות על אינטראקציות בין מערכת EHR לבין API מסחרי של LLM (כגון GPT-4 של OpenAI או Gemini של Google). אף שעטיפות אלה יכולות להיות מפותחות במהירות, הן יורשות מספר פגמים יסודיים שהופכים אותן לבלתי מתאימות לתמיכה בהחלטות קליניות.

פער ההיגיון האוטו-רגרסיבי

מודלי LLM סטנדרטיים הם אוטו-רגרסיביים; הם חוזים את האסימון הבא (מילה או תת-מילה) על בסיס הסתברות סטטיסטית ולא על הבנה מובנית של מדע הרפואה.⁸ חיזוי זה "ברמת-אסימון" חסר את ההיגיון "ברמת-מושג" הנדרש לרפואה.¹³ בתחומים מתמחים כמו רדיולוגיה או אונקולוגיה, מודלי LLM מתקשים לעיתים קרובות ללכוד תלויות לטווח ארוך וקשרים סמנטיים מורכבים החיוניים לפירוש אבחוני מדויק.¹³

נקודות חיתוך ידע ועיוורון הקשרי

גרסאות ציבוריות של מודלי LLM מאומנות על מערכי נתונים סטטיים עם נקודות חיתוך ידע קבועות, מה שהופך אותן לבלתי מסוגלות להתייחס להנחיות קליניות העדכניות ביותר או לתוצאות מעבדה האחרונות של מטופל ללא שילוב נתונים חיצוני.¹⁴ יתר על כן, מערכת מבוססת-עטיפה חסרה לעיתים קרובות את היכולת לשלב נתונים רב-מודאליים—כגון צילומי רנטגן, צורות גל (ECGs) או פרופילים גנומיים—ומפיקה תשובות "כלליות" שמחמיצות את הפרט הקריטי הנדרש למצבים רפואיים מורכבים.¹⁵

אבטחה וציות HIPAA

רבות מממשקי LLM לשימוש כללי אינן תואמות HIPAA מטבען, ושימוש בהן עם נתוני מטופלים ללא הסכם שותף עסקי (BAA) ספציפי ופרוטוקולי מיסוך נתונים קפדניים יוצר סיכוני פרטיות חמורים.¹⁵ מפתחי עטיפות מתעלמים לעיתים קרובות מעומק הפגיעויות של "הרעלת נתונים" או "הזרקת פרומפט", שבהן קלטים אדוורסריים עלולים להטעות את המודל לחשוף הקשר פנימי רגיש או נתוני מטופלים.¹⁶

פתרונות ארכיטקטוניים לבינה מלאכותית עמוקה: מסגרת Veriprajna

כדי להתקדם מעבר למודל העטיפה, פתרונות בינה מלאכותית חייבים להיבנות מהיסוד עם בטיחות קלינית כאילוץ ארכיטקטוני ראשוני. הדבר כרוך במעבר ממודלים הסתברותיים טהורים למערכות היברידיות מעוגנות.

יצירה מועשרת-שליפה (RAG) בתחום הבריאות

יצירה מועשרת-שליפה (RAG) ממתנת את בעיית ההזיה על ידי אספקת "מקור אמת" למודל להתייחסות לפני יצירת תגובה.¹⁴ במערכת מבוססת-RAG, הבינה המלאכותית שולפת תחילה מסמכים רלוונטיים מקורפוס מאומת—כגון הערות קליניות של המטופל, כתבי עת רפואיים שעברו ביקורת עמיתים והנחיות מוסדיות—ואז מתנה את תגובתה על המידע שנשלף.²⁰

רכיב RAG	תפקיד בבטיחות קלינית	יתרון על פני LLM עצמאי
שולף דליל (BM25)	התאמת מילות מפתח מדויקת לתרופות או קודים ספציפיים	דיוק גבוה לנתונים אובייקטיביים
שולף צפוף (עצבי)	התאמה סמנטית לתסמינים מורכבים ולמילים נרדפות	לוכד כוונה רפואית מעבר לטקסט
פרומפטינג RAG	מגביל את ה-LLM ל"שימוש רק בהקשר שסופק"	הפחתה משמעותית בהזיות
ציטוט מאומת	מקשר כל הצהרת בינה מלאכותית חזרה למסמך מקור	משפר סקירת קלינאים ואמון

גרפי ידע רפואיים ושילוב Neo4j

הגישה המתוחכמת ביותר לעיגון קליני כוללת שימוש בגרפי ידע רפואיים (KGs). גרפים אלה מייצגים ידע קליני לא כמחרוזות טקסט, אלא כרשתות של מושגים קשורים זה לזה.²¹ לדוגמה, KG יכול למדל במפורש את הקשר בין תרופה ספציפית, מנגנון הפעולה שלה, התוויות-נגד שלה, והמינון הטיפוסי שלה למטופל עם פגיעה כלייתית.

מערכות כמו MediGRAF (Medical Graph Retrieval Augmented Framework) משתמשות ב-Neo4j לשילוב יכולות Text2Cypher—תרגום שפה טבעית לשאילתות גרף מדויקות—עם הטמעות וקטוריות לשליפה נרטיבית.²² זה מאפשר לבינה המלאכותית לעבור על "מסע המטופל המלא", לזהות תוצאות שאילתה עובדתיות עם 100% recall תוך שמירה על סטנדרטים גבוהים של בטיחות להסקה מורכבת.²²

מידול ברמת-מושג (LCM) מול חיזוי ברמת-אסימון

בינה מלאכותית קלינית מוכנה לעתיד חייבת להתקדם לעבר מודלי מושג גדולים (LCMs). בניגוד למודלי LLM שמעבדים אסימונים, מודלי LCM פועלים ברמת רעיונות והיגיון היררכי.¹³

תכונה	מודלי שפה גדולים (LLM)	מודלי מושג גדולים (LCM)
רמת הפשטה	חיזוי ברמת-אסימון (מילה אחר מילה)	חיזוי ברמת-מושג (רעיון אחר רעיון)
יכולת היגיון	בעיקר חיזויים מקומיים; חסר לוגיקה	היגיון/תכנון היררכי מפורש
ייצוג	אסימונים ספציפיים לשפה	הטמעות משפט בלתי-תלויות בשפה
תועלת קלינית	סיכון גבוה להזיות לשוניות	מותאם להיגיון מובנה

אימות ובדיקות בטיחות: התקן החדש

בדיקות תוכנה מסורתיות אינן מספיקות לבינה מלאכותית יוצרת. פתרונות ברמת-ארגון דורשים מחזור רציף של בדיקות אדוורסריות והערכת אמות-מידה.

Med-HALT ואמות-מידה קליניות

Med-HALT (Medical Domain Hallucination Test) הוא אמת-מידה רב-לאומית שתוכננה במיוחד לזיהוי הזיות במודלי LLM בתחום הבריאות.²³ הוא משתמש בבדיקות הזיית היגיון (RHTs) כגון בדיקת ביטחון כוזב—שבה המודל מאותגר להעריך תשובה מוצעת באקראי—ובדיקת שאלות מזויפות, שקובעת אם המודל יכול לזהות שאילתות רפואיות חסרות-משמעות או מומצאות.²³

יתר על כן, מחקרים מצביעים על כך שהביצועים החלשים של מודלים "מתמחים רפואית" כמו MedGemma (שהשיג רק דיוק של 28%–61% בכמה בדיקות) בהשוואה למודלי היגיון רחבים יותר כמו Gemini-2.⁵ Pro מדגיש כי בטיחות נובעת מ"יכולות היגיון מתוחכמות שפותחו במהלך אימון-מוקדם בקנה מידה גדול," ולא רק מכיוונון עדין ספציפי-לתחום.²⁴

צוות אדום אוטומטי לבטיחות ואבטחה

בדיקות צוות אדום כוללות סימולציה של התנהגות אדוורסרית לזיהוי מצבי כשלון לפני הפריסה.¹⁹ עבור תחום הבריאות, זה כולל:

1.​ חקירה אדוורסרית ישירה: ניסיון לעקוף הוראות מערכת כדי לייצר ייעוץ רפואי בלתי בטוח.¹⁹

2.​ חילוץ נתונים רגישים: בדיקת המודל כדי לראות אם ידליף PHI באמצעות שאילתות עקיפות או הזרקת פרומפט.²⁶

3.​ דפוסי פריצת מגבלות: שימוש במשחק-תפקידים או בניסוח מחדש כדי לעקוף מגבלות תוכן ומעקות בטיחות קליניות.¹⁹

אחריות והסטנדרט המשתנה של טיפול

שילוב בינה מלאכותית בפרקטיקה קלינית אינו רק אתגר טכני אלא גם משפטי. בתביעות רשלנות רפואית, השאלה המרכזית היא האם רופא עמד ב"סטנדרט הטיפול"—הטיפול שספק רפואי סביר היה מספק בנסיבות דומות.²⁷

ה-ABCD של רשלנות בינה מלאכותית

ככל שהבינה המלאכותית הופכת ל"עמית החדש בחדר הייעוץ," ההגדרה המשפטית של אחריות מקצועית מתפתחת.²⁹

●​ חובה: הספק חב בחובה להשתמש בכלי בינה מלאכותית באופן הולם. כישלון להשתמש בכלי בינה מלאכותית מאומת שיכול היה למנוע שגיאה עשוי בקרוב להיחשב כהפרת חובה.²⁹

●​ הפרה: אם מערכת בינה מלאכותית מספקת המלצה שמובילה לנזק עקב אטימות המודל או נתונים שגויים, הרופא עלול להימצא כמי שהפר את חובתו אם קיבל את ההמלצה באופן עיוור.³⁰

●​ סיבתיות: ביסוס קשר סיבתי ברור בין תפוקת בינה מלאכותית לנזק למטופל מאתגר בשל אופי "הקופסה השחורה" של חלק מהמודלים, ודורש חקירה יסודית של תהליך קבלת ההחלטות.³⁰

●​ נזקים: על המטופל לסבול נזק ממשי. הטיית אלגוריתם שמובילה לאבחון מאוחר או לטריאז׳ בלתי שוויוני מייצגת מקור משמעותי לנזק שבתי המשפט מכירים בו כעת.³⁰

ביטוח וסחיפת מודל

תופעת "סחיפת מודל" או "קריסת מודל"—שבה ביצועי בינה מלאכותית יורדים לאורך זמן כשהיא מאומנת מחדש על נתוניה שלה או על נתונים חדשים—מציבה אתגר ייחודי לביטוח רשלנות.³³ מוצרי ביטוח חדשים יותר מתחילים לכסות תביעות משפטיות שנגרמו מהזיות בינה מלאכותית ומצ׳אטבוטים מתקלקלים, אך אלה בדרך כלל בעלי מגבלות נמוכות ודורשים הוכחה מתועדת של פיקוח אנושי.³³ עבור מערכות בריאות, היכולת להפיק יומני ביקורת המראים את גרסת המודל שהשתמשו בה ואת שלבי ההיגיון הספציפיים שעקבה אחריהם חיונית להגנה בתיקי רשלנות.²⁷

שיקולים אתיים: שיתוף פעולה אדם–בינה מלאכותית

בינה מלאכותית אתית בתחום הבריאות חייבת לתעדף את עצמאות המטופל ואת האוטונומיה של הקלינאי. המטרה אינה לאוטומציה של אינטראקציה אנושית אלא לשפר אותה.

שקיפות מול שביעות רצון המטופל

מחקרים מראים שבעוד מטופלים מעריכים את האמפתיה והפירוט של הודעות בינה מלאכותית, דירוגי שביעות הרצון שלהם יורדים מעט כשהם לומדים שהייתה מעורבת בינה מלאכותית.¹ זה מדגיש את "הטיית האוטומציה ההפוכה" אצל מטופלים: הם מעריכים את הקשר הקליני ואת האמונה שהקלינאי שלהם מעורב באופן אישי בטיפולם.¹ לכן, יש להשתמש בבינה מלאכותית לטיפול במשימות שגרתיות ומבניות, ולשחרר את הקלינאי להתמקד באינטראקציה האנושית המדויקת שטכנולוגיה אינה יכולה לשכפל.

הפחתת הטיות ושוויון

אלגוריתמים משקפים את הנתונים שעליהם אומנו, שלעיתים קרובות מכילים הטיות מערכתיות נגד קבוצות מיוצגות-חסר.¹⁵ Veriprajna תומכת במערכות "EquityGuard"—תהליכי הסרת-הטיה דו-שלביים שמחילים אילוצי הוגנות לאחר-מעשה על תפוקות בינה מלאכותית לפני שהן מגיעות לקלינאי.¹⁶ זה מבטיח שהמלצות להתאמת ניסויים או ציוני טריאז׳ אינם מוטים על ידי תוויות דמוגרפיות.

סיכום: מפת הדרכים האסטרטגית של Veriprajna

מחקר Lancet מאפריל 2024 סיפק את הראיות, ו-AB 3030 מספק את הדחיפה המשפטית: המסלול הנוכחי של בינה מלאכותית בתחום הבריאות אינו בר-קיימא ללא הנדסה עמוקה ומתמחה.³ עבור מערכות בריאות וספקי תוכנה, הדרך קדימה דורשת מעבר מתוכניות פיילוט ניסיוניות לאקוסיסטמות בינה מלאכותית ברמת-ארגון.

1.​ ביטול תלות בעטיפות: התרחקו משילובים פשוטים של API. השקיעו בארכיטקטורות RAG היברידיות שמעגנות מודלי LLM בגרף ידע רפואי מתמשך ומאומת.²²

2.​ יישום צוות אדום חזק: בטיחות אינה יכולה להיות מחשבה שבדיעבד. סוכני צוות אדום אוטומטיים חייבים לבדוק את המערכת מדי יום להזיות, דליפת נתונים ואי-דיוקים קליניים.¹⁹

3.​ הכנה למנדטי גילוי: עצבו מערכות שמקלות על סקירה אנושית משמעותית, ומאפשרות לקלינאים לתעד את אימות טיוטות הבינה המלאכותית ולציית לחוקים כמו AB 3030 ללא אובדן יעילות.⁷

4.​ תעדוף עיגון קליני על פני נופך יוצר: ברפואה, דיוק הוא המדד היחיד שחשוב. מערכות חייבות להיות מותאמות להיגיון ברמת-מושג ולא להסתברות ברמת-אסימון.¹³

על ידי אימוץ עקרונות אלה, תעשיית הבריאות יכולה לרתום את הכוח המשנה של בינה מלאכותית כדי לפתור את משבר שחיקת הרופאים תוך שמירה על העיקרון הקדוש ביותר של הרפואה: Primum non nocere—ראשית, אל תזיק. Veriprajna מוכנה להוביל מעבר זה, ולהתקדם מעבר לעטיפה כדי לספק את פתרונות הבינה המלאכותית העמוקה שעתיד הבריאות דורש.

מקורות

1. Patients Not Told AI Drafted Messages From Their Doctors - MHA Online, נצפה ב־6 בפברואר 2026, https://www.mhaonline.com/blog/ai-messages-from-doctors

2. When AI Writes Back: Ethical Considerations by Physicians on AI-Drafted Patient Message Replies - ResearchGate, נצפה ב־6 בפברואר 2026, https://www.researchgate.net/publication/394687833_When_AI_Writes_Back_Ethical_Considerations_by_Physicians_on_AI-Drafted_Patient_Message_Replies

3. Opportunities and risks of artificial intelligence in patient portal messaging in primary care, נצפה ב־6 בפברואר 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC12022076/

4. Mass General Brigham research identifies pitfalls and opportunities for generative artificial intelligence in patient messaging systems | EurekAlert!, נצפה ב־6 בפברואר 2026, https://www.eurekalert.org/news-releases/1041892

5. Critics bristle over creating MyChart messages with AI: 4 things to know | Becker's, נצפה ב־6 בפברואר 2026, https://www.beckershospitalreview.com/patient-experience/critics-bristle-over-creating-mychart-messages-with-ai-4-things-to-know/

6. GenAI Notification Requirements | Medical Board of California, נצפה ב־6 בפברואר 2026, https://www.mbc.ca.gov/Resources/Medical-Resources/GenAI-Notification.aspx

7. California Requires Disclaimers for Health Care Providers' AI-Generated Patient Communications | ArentFox Schiff, נצפה ב־6 בפברואר 2026, https://www.afslaw.com/perspectives/alerts/california-requires-disclaimers-health-care-providers-ai-generated-patient

8. The Clinicians' Guide to Large Language Models: A General Perspective With a Focus on Hallucinations - Interactive Journal of Medical Research, נצפה ב־6 בפברואר 2026, https://www.i-jmr.org/2025/1/e59823

9. New Law Regulates Use of Generative Artificial Intelligence in Healthcare - Fenton & Keller, נצפה ב־6 בפברואר 2026, https://fentonkeller.com/fk-articles/new-law-regulates-use-of-generative-artificial-intelligence-in-healthcare/

10. Bill Text: CA AB3030 | 2023-2024 | Regular Session | Amended - LegiScan, נצפה ב־6 בפברואר 2026, https://legiscan.com/CA/text/AB3030/id/3012689

11. U.S. State AI Law Tracker – All States, נצפה ב־6 בפברואר 2026, https://ai-law-center.orrick.com/us-ai-law-tracker-see-all-states/

12. California Turns to the Use of AI in Healthcare | BCLP - Bryan Cave Leighton Paisner, נצפה ב־6 בפברואר 2026, https://www.bclplaw.com/en-US/events-insights-news/california-turns-to-the-use-of-ai-in-healthcare.html

13. Large language models and large concept models in radiology: Present challenges, future directions, and critical perspectives - PMC - PubMed Central, נצפה ב־6 בפברואר 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC12679190/

14. Reducing Hallucinations in Large Language Models for Healthcare - Cognome, נצפה ב־6 בפברואר 2026, https://cognome.com/blog/reducing-hallucinations-in-large-language-models-for-healthcare

15. The dangers of using non-medical LLMs in healthcare communication - Paubox, נצפה ב־6 בפברואר 2026, https://www.paubox.com/blog/the-dangers-of-using-non-medical-llms-in-healthcare-communication

16. Challenges of Implementing LLMs in Clinical Practice: Perspectives - PMC, נצפה ב־6 בפברואר 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC12429116/

17. Risk Management: Artificial Intelligence in Clinical Practice - PMC - NIH, נצפה ב־6 בפברואר 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC11709444/

18. Large Language Models Are Highly Vulnerable to Adversarial Hallucination Attacks in Clinical Decision Support: A Multi-Model Assurance Analysis | medRxiv, נצפה ב־6 בפברואר 2026, https://www.medrxiv.org/content/10.1101/2025.03.18.25324184v1.full-text

19. How AI red teaming fixes vulnerabilities in your AI systems | Invisible Blog, נצפה ב־6 בפברואר 2026, https://invisibletech.ai/blog/ai-red-teaming-2026

20. Retrieval-Augmented Generation (RAG) in Healthcare: A Comprehensive Review - MDPI, נצפה ב־6 בפברואר 2026, https://www.mdpi.com/2673-2688/6/9/226

21. Use case: Building a medical intelligence application with augmented patient data, נצפה ב־6 בפברואר 2026, https://docs.aws.amazon.com/prescriptive-guidance/latest/rag-healthcare-use-cases/case-1.html

22. Unlocking Electronic Health Records: A Hybrid Graph RAG Approach to Safe Clinical AI for Patient QA - arXiv, נצפה ב־6 בפברואר 2026, https://arxiv.org/html/2602.00009v1

23. Med-HALT: Medical Domain Hallucination Test for Large Language Models - GitHub, נצפה ב־6 בפברואר 2026, https://github.com/medhalt/medhalt

24. mitmedialab/medical_hallucination: Medical Hallucination in Foundation Models and Their Impact on Healthcare (2025) - GitHub, נצפה ב־6 בפברואר 2026, https://github.com/mitmedialab/medical_hallucination

25. What Is AI Red Teaming? Why You Need It and How to Implement - Palo Alto Networks, נצפה ב־6 בפברואר 2026, https://www.paloaltonetworks.com/cyberpedia/what-is-ai-red-teaming

26. AI Red Teaming Agent (preview) - Microsoft Foundry, נצפה ב־6 בפברואר 2026, https://learn.microsoft.com/en-us/azure/ai-foundry/concepts/ai-red-teaming-agent?view=foundry-classic

27. AI in Medical Malpractice: Liability, Risk, & What Physicians Need to Know - Indigo, נצפה ב־6 בפברואר 2026, https://www.getindigo.com/blog/ai-in-medical-malpractice-liability-risk-guide

28. Healthcare AI 2025 - USA – California | Global Practice Guides | Chambers and Partners, נצפה ב־6 בפברואר 2026, https://practiceguides.chambers.com/practice-guides/healthcare-ai-2025/usa-california/trends-and-developments

29. A New Duty of Care: How AI Is Rewriting Medical Liability | Gyrus Group, נצפה ב־6 בפברואר 2026, https://gyrusgroup.com/news/a-new-duty-of-care-how-ai-is-rewriting-medical-liability/

30. Artificial Intelligence: The Legalities of AI in Health Care and the Day-to-Day Use of AI in the Clinical Setting - Oncology Issues, נצפה ב־6 בפברואר 2026, https://journals.accc-cancer.org/view/artificial-intelligence-the-legalities-of-ai-in-health-care-and-the-day-to-day-use-of-ai-in-the-clinical-setting

31. Understanding Liability Risk from Using Healthcare AI Tools - Illinois Health and Hospital Association, נצפה ב־6 בפברואר 2026, https://www.team-iha.org/getmedia/3d7473d7-192e-40b8-ad2e-b40b27be43ae/K_Understanding-Liability-K-2025.pdf

32. Appendix E — The Clinical AI Morgue - The Physician AI Handbook, נצפה ב־6 בפברואר 2026, https://physicianaihandbook.com/appendices/failures.html

33. AI regulation in insurance: Risk-based pricing and fairness - Browne Jacobson LLP, נצפה ב־6 בפברואר 2026, https://www.brownejacobson.com/insights/the-word-may-2025/ai-hallucinations

34. Legal AI Hallucinations and Your Attorney Malpractice Insurance Coverage, נצפה ב־6 בפברואר 2026, https://www.l2insuranceagency.com/blog/legal-ai-hallucinations-and-your-attorney-malpractice-insurance-coverage/